1405(応永12)年、長安坊がこの地に草庵を構えたのが始まりとされる。
　1579(天正7)年9月15日、徳川家康の長男岡崎三郎信康は、織田信長に謀反の疑いをかけられ、遠州二俣城で切腹した。当時、二俣には松平家の尊崇する浄土宗の寺がなく、草庵のあったこの地が埋葬地として選択された。ちなみに、ここに葬られているのは信康の胴で、首塚は岡崎の若宮八幡宮にある。家康は信康の菩提を弔うために精舎を建立、行基が作ったとされる聖観世音像を奉納したのが実質的な開創とされている。
　翌1580(天正8)年9月には徳川家の菩提寺である三河国岡崎の大樹寺15世呑誉和尚を招いて本葬が営まれた。1581(天正9)年、家康が寺に参詣した際、清水の湧き出るのを見て寺名を清瀧寺と改め、信康に清瀧寺殿と諡を付している。清瀧寺は、京都知恩院の末寺となっている。
　信康廟の近くには、殉死した吉良於初,当時の二俣城主大久保忠世,三方原の戦いで討死した中根平左衛門正照,青木又四郎吉継の墓もある。
　境内にある井戸櫓は、1572(元亀3)年に武田勝頼軍が天竜川に大量の筏を流して破壊した二俣城の井楼(水の手櫓)を再建したもので、廃城ののちに清瀧寺へ移築され、明治時代に改築、さらに1962(昭和37)年に再建されたものである。また、坂を上ったところの山門(四脚門)は1668(寛文8)年に建立されている。