築城年は定かではないが、室町時代初め頃に波多野行近が相模国から来住し、御津庄司森下三郎と称して大沢山の当地に居城を構えたとされる。森下行近は、源義朝に仕えていた相模国波多野荘の波多野義通から9代目という。
　応仁の乱が始まった頃(1467年)、行近から6代目の波多野上野介政家(森下姓から波多野姓に戻している)は細川氏に仕えた。11年に及ぶ乱が終わった頃(1477年)には、波多野氏当主は政家の曾孫である時政(法名:全慶)に代変わりしていた。波多野時政は長山一色城の一色刑部少輔時家の家臣であったが、細川氏の権威を後ろ盾にして挙兵し、主家･一色時家を灰塚野の戦いで討って勝利した。主人を倒した時政は自ら一色刑部少輔全慶と名乗り、一色時家の遺領を手中にし一色城に入った。
　しかし、1493(明応2)年、一色時家に仕えていた瀬木城主の牧野古白成時が挙兵し、灰塚野に激突して全慶を討ち取り、大沢城も牧野氏の城となる。その後、牧野氏は東三河の実力者として台頭し、吉田城を築いて渥美郡にまでその勢力を拡げていく。一方、波多野氏の子孫は、松平清康に仕えるなど存続し、江戸時代後期には森下村の庄屋,神主を務めたという。
　大沢城跡は御津町豊沢の秋葉神社の南辺りで、西側の竹林は楕円状の比較的低い丘陵地形であり、幾段かの石積みが確認できる。堀切などの遺構は認められないが、東側には南北の80mほどの土塁が道路に沿って残されている。その西側の平坦地は現在は果樹園である。なお、明治の終わり頃までは堀や土塁,城塀が四方を囲んでいたといわれている。