寺伝によれば、726(神亀3)年に聖武天皇の勅願により行基が創建し赤岩山法言寺と称したが、857(天安元)年に空海の十大弟子の一人･杲隣上人が中興し、高野山平等院の末寺となり真言宗に改めたという。本尊は聖観音。
　鎌倉時代初期に三河守護職の安達盛長が源頼朝の命で建立したとされる三河七御堂の一つに赤岩山法言寺弥陀堂が挙げられ、一山十二坊を擁していたが、応仁の乱後に衰微した。
　その後、今川,戸田,徳川家等から庇護を受け、1532(天文元)年に今川家より寺領6貫の寄進があり、1568(永禄11)年には大垣城主･戸田家より本堂再建と鎧兜,宝剣の寄進があった。山内中腹の愛宕社は、吉田城歴代城主の祈願所となり、寺運は再び復興した。また、近年の調査では、歴代住職に伝わる密教法具の金剛杵が平安時代のものと判明している。
　鎌倉時代の作の木造愛染明王坐像(国重文指定)は一面三目六臂で、口を開けた獅子冠を戴く通形の愛染明王である。獅子冠内からは愛染明王小像104躯、愛染明王名号などが発見されている。このほか、木造聖観音像立像と阿弥陀三尊種子一幅は豊橋市指定文化財となっている。
　赤岩寺背後には戦国時代の赤岩城跡がある。