築城年代は定かではないが、鎌倉幕府の命令で讃岐から移って来た番場太郎致由により永仁年間(1293～98年)に築かれたとされる。また、城跡北東麓の慶忠院跡に関口刑部の墓と伝わる小さな五輪塔が残っているため、関口氏の居城ともされる。関口氏は今川氏の庶流で経国から6代の教兼まで三河国宝飯郡関口を分国治領地とした(地名の関口は、長沢村西端の関屋を通る古道の入り口に関所を置いたことに因む)。
　しかし、桶狭間の戦いで今川義元が討たれると、1561(永禄4)年、三河平定に乗り出した松平元康の松平信一勢が攻め寄せ、城代の糟谷善兵衛,小原藤五郎が防戦するも落城。なお、このときが徳川四天王の一人となる本多平八郎忠勝の初陣と伝わる。
　城は北の上谷下川と南の小沢川に挟まれた標高100m,比高15mの丘陵袖に築かれ、現在は畑地,山林となっているが、曲輪,横堀,土橋,土塁が残されている。