1265(文永2)年、関実忠によって伊勢国鈴鹿郡若山に築城されたのが始まりとされる(亀山古城)。その後、関氏16代の居城であったが、1567(永禄10)年の織田信長の伊勢侵攻以降はたびたび戦場となり、1573(元亀4)年に関盛信が織田信長によって追放されるまでの間に現在の位置に移された。
　1590(天正18)年、豊臣秀吉に従った岡本良勝(宗憲)が入城後、天守,本丸,二の丸,三の丸など近世城郭の母体が形成されたとされる。
　江戸時代においては伊勢亀山藩の藩主の居城となる。1632(寛永9)年、三宅康盛が城主のとき、幕府より丹波亀山城の天守修築を命じられた堀尾忠晴が間違えて伊勢亀山城の天守を解体してしまったとされるが真偽は不明。1636(寛永13)年に城主となった本多俊次は城の大改修に着手し、東西700m,南北500mに及ぶ縄張が確定する。天守を失った天守台には1641(寛永18)年に多聞櫓が築造された。1744(延享元)年に石川総慶が城主になって以降は、明治維新まで石川家11代が城主となる。
　多聞櫓は明治の廃城令を免れた三重県で唯一現存する城郭建造物で、天守台とともに県史跡及び県有形文化財(建造物)に指定されている。このほか、石垣,堀,土塁などの一部が残る。また、二の丸御殿玄関は西町の遍照寺本堂に移築されている。