1548(天文17)年、牧氏によって築かれたとされる。牧氏は前津小林に四千石を領しており、牧若狭守長清は斯波義銀の従兄弟にあたる牧下野守長義(義清)の長子で、織田信長の妹小林殿を正室に迎えている。1560(永禄3)年の桶狭間の戦いでは牧長義,長清父子は丹下砦に配備され、戦功を挙げたとされている。1570(元亀元)年、牧長清が没したことで廃城となった。その後、尾張藩主徳川光友の剣術師範を務めた柳生兵庫利厳の屋敷となり、さらに元禄年間(1688年～1704年)には清浄寺が建立され矢場地蔵尊として徳川累代の祈祷所となった。この寺の境内に四基の宝篋印塔があり、戒名から牧長義夫妻と牧長清夫妻の墓と思われる。