永正年間(1504年～1521年)に東条吉良氏の被官であった富永正安によって築かれたといわれる。富永氏は代々牟呂城を居城とした。
　1535(天文4)年に松平清康が守山崩れによって討たれ、松平信定が反乱を起こすと、清康の子広忠は難を逃れるために岡崎城を退去し、一時期、富永忠安が城主をつとめるこの城に在城したといわれる。
　桶狭間の戦いで今川義元が敗れると、独立した松平元康は徐々に三河支配に動き、今川方の東条吉良義昭との対立が深まる。1561(永禄4)年、東条吉良氏の重臣であった富永伴五郎忠元が藤波畷の戦いで戦死した。この後、廃城となる。
　現在は、富永正安が建立したと伝わる松林寺の墓地となっており、曲輪,土塁が残る。東側の神明社は蔵屋敷の跡とされる。