築城年は定かではないが、11世紀中頃に三河国司･大江定基の孫で豊川の地頭･大江入道定厳が居館を構えたのに始まるとされる。
　1602(慶長7)年7月、刈谷城主･水野勝成の弟の水野八十郎忠直が三千石にて当地を拝領して旗本となり城館(陣屋)を構えて領地経営にあたった。しかし、その陣屋建設は寺や百姓の住居を強引に追い立て、堀と垣塀を設けたという。また、年間に数十人を切り殺すなど為政者としても評判はひじょうに悪かったという。1635(寛永12)年3月に、江戸屋敷にて家人(小姓)に斬られて落命した。享年53。子の政直が継いだともいわれるが、家禄召上げ、屋敷も取り潰された。
　城館は光明寺の境内付近にあったとされるが、現在、遺構は残っておらず、城趾碑が光明寺の門前に建つのみである。なお、光明寺には水野八十郎忠直の墓がある。