大津城とも老津城とも言う。戸田宗光が三河国渥美郡に最初に入った拠点である。1475(文明7)年、三河国碧海郡上野に拠点を置いていた戸田宗光が知多郡河和経由で東三河の渥美郡に進出し、高縄城に入った。1479(文明11)年には高縄から田原へ移り、田原城を築いた。
　1493(明応2)年、宗光は渥美郡支配を強めるために同郡北端に新築した二連木城へ移り住み、田原城は子の戸田憲光に譲った。このとき、高縄城の役割は一時的に低下するが、吉田川(豊川)西岸から牧野氏が渥美郡に進出し、今橋城(吉田城)を築いて戸田氏に対抗すると、田原城と二連木城の連携に欠かせない城として再び重要度が高まった。宗光は1500(明応9)年、船形山の戦いで今川氏に討ち取られ死去するが、その後もたびたび吉田,田原で戦が起こり、高縄城は重要拠点として使われた。
　その後、三河統一を図る徳川家康によって攻略され、家康は戸田忠次を城主に任じている。1590(天正18)年の家康の関東移封、または、江戸時代の一国一城令により廃城となった。
　現在、城址は豊橋市立家政高等専修学校の敷地となっており、校門近くに城址標柱がある。また、学校の北側と西側に堀や土塁の遺構を確認できる。