『滝山寺縁起』によれば、686(朱鳥元)年に役小角が青木川の滝壺から薬師如来を拾い上げ、安置するために吉祥寺という一堂を建てたのに始まるとされる。しかし、その後、寺は放棄され荒寺となる。
　保安年間(1120～23年)になると、天台宗の仏泉上人永救が地元の豪族物部氏の保護を受けて本堂を建てるなどして再興。上人を慕って弟子入りする者は後を絶たず、境内には360もの寺院が建立され、そのころに寺名を滝山寺と改めている。
　その後、物部氏に代わり熱田神宮大宮司藤原南家を檀越に迎えることで寺勢はさらに興隆し、平安時代末期から鎌倉時代初期には熱田大宮司藤原季範の孫で源頼朝の従兄弟にあたる寛伝上人は瀧山寺住職となり、頼朝により大伽藍が造立されるなど鎌倉幕府の庇護を受けた。寛伝は足利氏宗家初代当主足利義康の義兄弟でもあり、頼朝の強い推挙によって足利氏本拠地である下野の日光山満願寺座主を一時務めたものの、衆徒との関係が悪化し2ヶ月で三河へ戻っている。寺に伝わる聖観音菩薩及び両脇侍(梵天,帝釈天)像は、頼朝の三回忌にあたる1201(正治3)年に寛伝が頼朝追善のため仏師運慶,湛慶父子に作らせたものという。像内に頼朝の鬚と歯が納入されている。その後も三河守護足利氏の保護を受け、1223(貞応2)年には足利家3代目当主足利義氏が本堂立替を援助した。さらに、南北朝時代には足利尊氏の庇護を受け現在の本堂が造営されたが、臨済宗を重視する室町幕府の方針の影響などによりやがて滝山寺の勢力は衰え、戦国時代に寺領は諸勢力に侵された。
　江戸時代になると徳川家康の庇護を受け再び復興。徳川家光の治世には天海の弟子の亮盛が寛永寺の子院であった青龍院住職と兼務する形で滝山寺住職を務め、以降滝山寺の勢力が増した。1646(正保3)年、徳川家光の命により岡崎城鬼門にあたる滝山寺境内に滝山東照宮が創建された。