熱田の豪族で織田信秀の保護によりこの地での実権を握っていた加藤図書助順盛の屋敷跡とされる。羽城跡とも呼ばれる。加藤家は順盛の父の代で東西に分かれ、順盛は東加藤と呼ばれていた。
　1547(天文16)年、松平広忠は、三河に勢力を拡大する織田信秀に対抗するため、駿府の今川義元への従属を強め、6歳の竹千代(のちの徳川家康)を人質として差し出したが、岡崎城から駿府へ送られる途中、田原城主･戸田康光により身柄を奪われ、竹千代は織田氏へ送られた。そして、加藤図書助に預けられ、熱田の地に幽閉された。順盛は竹千代のことを手厚く養ったとされ、人質時代から20数年後の1569(永祿12)年、順盛が家康に陣中見舞を送った際の家康の返書が遺されている。
　竹千代は､その後、那古野城へと移され、織田信長と知り合う。1549(天文16)年、8歳の時に織田信広(信長の異母兄)との交換で和議が成立し、一時岡崎城へと戻るが、すぐに今川氏の人質として駿府へ送られた。
　また、1560((永禄3)年の桶狭間の戦いの際は、途中、戦勝祈願で熱田神宮を訪れた織田信長を出迎え酒の酌をしている。順盛の子の弥三郎も信長の小姓として参戦した。
　1603(慶長8)年、家康は人質として預けられた時の厚遇に感謝して加藤家に140余石の土地を与えている。江戸時代に東加藤家が開発した新田は、図書新田と呼ばれた。以前は小社跡が残されていたが、現在は説明板が立つのみである(住宅化により移動している)。