986～1011(寛和2〜寛弘8)年に大江定基が三河国司として任ぜられ、数年間在地した居城である。また、姫ヶ城は後年には保母松平氏の居城として使われた。山頂は二段に削平された曲輪が残されており、西側には東名高速道路を眼下に見ることができる。
　定基は赴任する際、元の妻と離縁し別の女性を任国に連れて行ったとされる(『今昔物語集』)。一方、『源平盛衰記』では赤坂宿の遊女力寿と相思相愛の仲となったとある。姫が病死すると草庵を建立し、これが後に胎蔵寺となったという。
　ただ、力寿姫については諸説あるようである。三河赤坂宿の遊女であったり、赤坂の宮路長富という長者の娘とする説もある。また、長者の娘が亡くなった理由も大江定基が赴任を終え京に戻ることになったとき、その別離を苦しんで舌を噛み切って亡くなったとする説や、風邪がもとで重病となって亡くなった説がある。そして、その菩提を弔うために建てられた寺も胎蔵寺のほかに、財賀寺の南方約1kmの地にあった力寿山舌根寺や赤坂の長富寺(1522年に長福寺)がある。