1332(元弘2/正慶元)年、大橋三河守定高(または子の定省)によって築かれたとされる。平貞盛の子孫である大橋氏はもともと肥後国に住したが、平家滅亡後は源頼朝に随従し、大橋肥後入道貞能は頼朝から隠居地として海部郡門真庄(津島の地)を子孫の代まで安堵する書状を与えられ、文治年間(1185～89年)に貞能は息子の貞経に本拠地の肥後を譲り渡して津島へと移り住んだ。建久年間(1190～1198年)には、ある程度の規模を持った屋敷が構えられていたと考えられる。1241(仁治2)年、貞経の息子の貞康は三河国額田郡に青木城を築いて大橋村を開いたとされ、この頃には大橋氏は尾張･三河にかけて勢力を伸ばしていた。鎌倉末期になり、本格的に奴野城が築かれる。
　1424(応永31)年、津島四家七名字の代表的な地位となった大橋家は大橋定省の代に、室町幕府に敵対していた尹良親王(創作上の人物ともされる)が再興をかけ、世良田義秋，熊谷直近、そして津島四家七名字ら80余騎と信濃国から三河足助へ向かおうとし浪合の合戦で親王が討ち死にすると、親王の息子の良王君は津島四家七名字に付き添われて奴野城へと入城した。頼朝の発した安堵状があるため、足利幕府は手出しできず黙認の形を取ったといわれている。良王親王の嫡子は大橋信吉の養子となって和泉守信重と名乗り、｢津島大納言｣とも呼ばれ、奴野城主になったと伝わる。
　戦国時代の大永年間(1521～27年)には、大橋重長(重定)が清洲城主･織田氏と領地を争い(大橋の乱)、勝幡城主の織田信秀とも抗争を続けたが、ついには信秀の女･くらの方を嫁として迎え、織田の連枝衆として信秀･信長父子を支えるようになる。
　その後、奴野城は津島四家七苗字の中の一家である平野氏が治めるようになる。城主として、賤ヶ岳七本槍の一人として勇名を馳せた平野長泰がいる。
　1549(天文9)年に創建された西方寺は元々は橋詰町にあったが、1747(延享4)年に火難を避けるため、この奴野城跡地に移転したという。