築城年代は定かではないが、この地には地頭の小浦喜平冶忠重が屋敷を構えていたが、1471(文明3)年、岩津城の松平信光が岡崎,安城へ進出し、安祥城を落城させて3男の松平親忠を入れると、屋敷跡に桜井城を築き親忠の4男の親房を城主とした。小浦忠重はその家臣となった。しかし、親房には嫡子が無く、松平宗家5代長親の3男･信定が桜井へ移り住み、桜井松平家の祖となった。
　1530(享禄3)年、松平信定は松平清康とともに宇利城攻めに参陣したが、兄の福釜松平親盛を救援せず親盛が討死させたことで清康の怒りをかったという。信定はこれを恨み、1535(天文4)年に清康が尾張国守山へ進軍したときは同行を拒んだ。そして、清康が守山崩れで家臣に殺されると、信定は岡崎城へ入り松平宗家の乗っ取りを企て、清康の子･広忠を一時岡崎から排除した。しかし､清康の弟で山崎城主だった松平信孝が対抗して広忠を助けて岡崎城へと迎え入れる。
　その後も信定は宗家に対し不遜な態度をとり続けるが、1583(天文7)年に死去。なお、信定は旧来の城を大改築したといわれ、清定,家次,忠正,忠吉,家広まで6代70年間の桜井松平の居城となった。松平忠正,忠吉の代には徳川家康に仕え、姉川の戦い,野田城の戦い,長篠設楽ヶ原の戦いなどに参戦している。
　1590(天正18)年、徳川家康の関東移封にともない、桜井松平氏も武蔵国松山へ一万石で移封となり、桜井城は廃城となった。
　現在は城山公園,桜井靖霊神社に変わり、公園横に桜井松平家歴代の墓所がある。