1308(延慶1)年、三河国高橋荘地頭の中条出羽守景長の築城とされる。金谷城は拳母城とも呼ばれ、江戸時代に内藤氏によって拳母城が築かれるまでは金谷城を指していた。中条氏が建立した勝手神社から東側、台地の東端に築かれており、複郭の城で群郭式のように深い空堀で台地を区画したような城で、三つの曲輪が確認できる。
　鎌倉時代以来､中条氏累代の居城であったが、1532(天文1)年、中条出羽守常隆が7代城主になると、1533(天文2)年には松平清康との戦いに敗れ、1549(天文18)年に今川義元の東条衆の来襲、1558(永禄1)年には松平元康の来襲、そして1561(永禄4)年には織田信長勢の来襲に敗れ、終に御立村の森豊後守の居館へ逃れ、中条氏の支配が終わる。その後、信長の家臣･佐久間信盛が入り、1568(永禄11)年、信盛の与力･余語正勝が寺部城とともに支配した。1583(天正11)年、余語正勝は信長の一周忌に狩野元秀に画かせた「信長の画像」を長興寺に納めている。その後、1601(慶長6)年には徳川氏のものとなり、1604(慶長9)年、三宅康貞が一万石で入部した。三宅氏は元々中条氏の被官であったが、徳川家康に臣従して武功を重ね、故郷に藩主として返り咲いた形となった。しかし、藩庁とすべき金谷城は打ち続いた戦乱で荒れ果てていたため、1614(慶長19)年、三宅康貞は金谷城を廃して北1kmほどの地に桜城(左久良城)を築いて陣屋とした。