築城年代は定かではないが、1421(応永28)年頃に松平氏2代とされる松平泰親が岩津大膳(中根大膳)の岩津城を急襲し松平郷から岩津城へと移ったとする説と、武力ではなく買得によって進出したとする説がある。泰親の跡は嫡子の松平信光に嗣がれ、彼は晩年には安祥城を落として居城を移すなど、松平氏の勢力拡大に尽力した。また、信光の嫡子･岩津修理亮親長は1476～80(文明8～12)年に京都で伊勢氏に勤仕した記録が残る。
　一方、この急激な発展は三河国内外の勢力から反発を受けて攻撃されることになる。1493(明応2)年、三河国加茂郡衣にあった鎌倉幕府以来の名族中条氏が碧海郡上野城の阿部氏,加茂郡寺部城の鈴木氏,同郡伊保城の三宅氏,同郡八草城の那須氏らを糾合して松平氏を攻めた。この時、親長と次男の乗元は在京中であったが、安城家の親忠が松平勢全軍を指揮し中条勢を敗走させ、武名が大いに上がったという。また、1508(永正5)年、今川氏親名代の伊勢宗瑞(北条早雲)率いる今川軍は大樹寺を本陣として岩津城を攻め落城させたが(永正三河の乱)、安祥城の松平長親の救援軍に手を焼き、三河侵攻をあきらめて撤退したという。ただ、この戦いにより岩津松平家は著しく衰退したと考えられる。その後、松平広忠の叔父･三木松平信孝による岩津押領や1571(元亀2)年の武田氏による攻撃などで岩津城は歴史から姿を消していった。1584(天正2)年、小牧長久手の戦いのときに徳川家康が改修を行っているが、廃城年は不明である。
　現在は、馬出しと主郭間の土橋、その両側の深い空堀、そして主郭の土塁が残されている。
　なお、城跡の南に1451(宝徳3)年に松平信光が建立した信光明寺があり、観音堂(国重文)裏手の墓地には松平三代(初代親氏,2代泰親,3代信光)の墓所がある。