築城年は定かではないが、南北朝時代に将軍奉公衆の佐脇氏が佐脇荘の地頭となって築いたとされる。城主には佐脇右京亮明秀，佐脇弥太夫などの名が伝えられる。その後、佐脇氏は基盤を伊勢地方の所領に移し、佐脇の国人･生田氏が領主となった。
　1400年代中頃になると、亀山城主･奥平貞久が勢力を拡大して生田氏を家臣とし、貞久の7男･奥平定包を佐脇の領主としたという。
　戦国時代に入ると、東三河は今川氏と松平氏の覇権争いの場となり、1529(享禄2)年、三河統一を推し進めようとする松平清康が佐脇城に籠城する佐脇弾正を討ち滅ぼす。1562(永禄5)年には今川氏の城となり、今川氏真は家臣の三浦左馬助義就を城将として配置した。同年、松平元康(家康)が再び奪い、佐脇安信を城主とする。しかし、家康が三河一向一揆の対応に苦しんでいる間に今川氏真が再度奪取する。最後は、1564(永禄7)年、勢いの衰えた今川氏から家康が再々度奪い返し、佐脇刀祢太夫を城主として入れた。佐脇刀祢太夫は、長篠設楽原の戦いで徳川方として奥平氏に従って武田氏と戦い討死し、城も廃城となった。佐脇刀祢太夫の墓が少し南東に行った行者堂の横に残されている。
　城は正眼寺の東側に築かれていたとされるが、現在は住宅地と変わり、公園の中に碑が残るのみである。横を流れる音羽川と白川を結ぶ川は外堀として利用されていたと考えられる。