1564(永禄7)年、松平家康(のちの徳川家康)が富永右京太夫忠安に鵜ヶ池の地一帯を与え、忠安が野田村の館から移住し隠居所として築いた城館とされる。
　富永忠安は東条城主･吉良持広の家老を務め、元康(家康)の父･松平広忠が桜井城主の松平信定との争いに敗れて岡崎城を追われた際、広忠に味方をして自分の牟呂城に迎え入れている(広忠の岡崎城帰還には諸説ある)。
　忠安の息子･富永忠元(伴五郎)は父の跡を継いで東条吉良家の家老となったが、桶狭間の戦い後、今川家から独立した松平元康は1561(永禄4)年、三河統一のためその東条吉良家を攻めることとなる。忠元は吉良家に忠義を尽くし藤波畷の戦いで討死した(富永忠元一族討死の地)。家康は、富永氏の吉良家への忠誠心に感銘し、息子を失い野田に住んでいた忠安に吉良の地を与えた。
　周囲を田畑に囲まれた地が城跡とされ、現在は富永氏の住居に変わっており、もとは堀と思われる水路が周囲に設けられている。