神亀年間(724～729年)、全国行脚をしていた行基が水不足に苦しむ民のために井戸を掘り、観音像を祀った庵を結んだのが始まりとされる。行基が杖を突き立てると、そこから清水が湧き出たという。ほかに4ヶ所同じように杖を突き立てた場所から清水が湧き出たことから、この地方が｢五井｣と呼ばれるようになったとされる。
　壇ノ浦の戦いで平家を滅ぼし、鎌倉幕府を開いた源頼朝は全国に守護,地頭を任命し、1191(建久2)年、三河国の初代守護代に安達藤九郎盛長が命じられる。盛長は三河国内に長泉寺をはじめ、赤岩寺(豊橋市多米町赤岩山)，普門寺(豊橋市雲谷町ナベ山下)，財賀寺(豊川市財賀町観音山)，全福寺(蒲郡市相楽町)，鳳来寺(新城市門谷字鳳来寺)，金蓮寺(西尾市吉良町饗庭)の七ヶ寺(｢三河七御堂｣と呼ばれる)を再建,整備した。その際、当寺は天台宗に改宗している。さらに、五井松平氏2代の松平長勝は天台宗から曹洞宗に改め、当寺を菩提寺とした。
　なお、境内の龍田稲荷後方に安達藤九郎盛長墓所(五輪塔)、墓地の北側に五井城主であった五井松平氏の墓所がある。