築城年は定かではないが、15世紀後半(1470年説あり)に浜田忠秀によって築かれたとされる。上野国赤堀庄から応永年間(1394～1428年)に伊勢に移り住んだ赤堀景信が、長男の盛宗を羽津城,次男の秀宗を赤堀城、そして3男の忠秀を浜田城に配して北勢地方で勢力を誇った。浜田氏は、その後、紀伊守藤綱,遠江守元綱,重綱と４代続き、伊勢国司北畠氏に仕えた。
　織田信長の伊勢侵攻が始まると、1575(天正3)年、信長の家臣･滝川一益が城を包囲し、浜田元綱は戦死した。その子･重綱は美濃国へ逃れた後に織田信雄に属したが、1584(天正12)年の小牧長久手の戦いにおいて美濃の加賀野井城で戦死し、浜田家は断絶した。
　鵜森神社には浜田氏4代の御霊が祀られ、浜田家の家宝であった俵藤太秀郷ゆかりの十六間四方白星兜鉢(国重文)が社宝として所蔵されている。
　城跡は鵜の森公園,鵜森神社となり、鵜森神社周辺にわずかに土塁跡が残るのみである。⁠