1562(永禄5)年、菅沼定氏がそれまでの新城古城を引払い､ここに移って城屋敷を構えた。方形に土塁で囲んだだけの館城である。
　1570(元亀元)年、田峯城の菅沼宗家は武田氏に降ったが、定氏は徳川に随従する道を選び、同年、戦いに備えるためか、道目記城を築き移った。移ってからも杉山端城は廃されることなく維持された。
　1573(元亀4)年、武田軍が東三河に進攻し野田城を攻めた。この時、城主の定氏は家康に従って浜松城に出向いており、端城は今村,石田,今泉,塩瀬といった家臣らが守備していたが、抵抗することなく武田軍に明け渡し、信玄は道目記城を本営とした。
　その後、信玄がなくなり､1575(天正3)年の武田勝頼との長篠合戦で勝利した奥平信昌が新城城を築き新たな領主となったため、端城もその支配下に置かれ、今泉七郎左衛門が端城の城代となっている。
　以降、1590(天正18)年、奥平氏の関東移封により、東三河は池田輝政(吉田城)の所領となり、端城は石田城の片桐半右衛門の支配となり、高木又左衛門が城代となった。1600(慶長5)年の関ヶ原合戦後、井道(端城の東約2Km)の代官となった菅沼三照の支配となり、菅沼藤七が城代を務めた。さらに、1605(慶長10)年からは新城城主となった水野分長の支配下で山口弥右衛門が城代となり、1645(正保2)年の水野氏の上州移転により廃城となる。