724(神亀元)年、聖武天皇の勅願により行基が開いたとされる真言宗の古刹である。寛治年間(1087～93年)には堀河天皇，右大臣･源顕房の援助を受け、真言霊場として大いに栄えた。その後も足利義澄，今川義元，豊臣秀吉，徳川家康から寺領を安堵され、多くの学徒が集まり、堂宇や塔が建ち並び、最盛期には境内に十二坊を数えた。
　江戸時代には、これまでの度重なる火災や戦火で八坊と減ってしまったが、遠州地方の真言宗の総本山となっている。また、幕末の1868(慶応4)年、官軍総大将･有栖川宮幟仁親王が江戸に向かう途中に不動明王の宝前で先勝祈願を行い、無事に江戸城無血開城できたことを感謝し、この年から有栖川宮家の祈願所となっている。
　現在の本堂は享保年間(1716～35年)に建築されたもので、1991年(平成3)年から3ヶ年かけて解体修理が行われ、創建当初の入母屋造柿葺の禅宗様式の荘巌なる本堂が蘇っている。本堂(附本堂内厨子)はじめ、木造薬師如来座像，木造阿弥陀如来座像は県指定有形文化財である。