創建年は定かではない。寺伝では推古天皇の勅命により厩戸皇子が建立したといわれているが、境内出土の瓦の年代からは長岡京造営以前、奈良時代の創建と推定されている。
　784(延暦3)年に桓武天皇が長岡京を造営した際には、都の地鎮として大規模に増築されている。また、翌785(延暦4)年の藤原種継暗殺事件で首謀者の嫌疑をかけられた早良親王が幽閉された場所でもある(785年に憤死したが、死因には諸説あり〔崇道天皇陵〕)。長岡京から平安京に都が移っても大規模な伽藍を擁し室町時代でも10以上の僧坊があったとされる。811(弘仁2)年からは唐から帰朝した空海が別当を務め、修理造営を行った。室町時代には足利義満がこの寺を南禅寺の白英徳俊に与え、禅宗寺院として再出発した。また、江戸時代には護持院隆光が真言寺院として再興を行っている。隣接する長岡京市立長岡第三小学校の大部分は学校建設前は寺の敷地であった。
　現在は｢牡丹の寺｣としても知られる。真言宗豊山派総本山である長谷寺より2,000株の牡丹が移植されている(見頃は4月下旬～5月上旬)。