天授年間(1375～80年)に上野国から作手地方に移住してきた奥平貞俊は当初、川尻城を本拠としたが、1424(応永31)年、ここに城を築いた。以降、駿河国の今川氏,尾張国の織田氏,三河国の徳川氏など転属先を変えながら、この地で支配者としての地位を確立し、後に山家三方衆と呼ばれる有力土豪となった。
　元亀年間(1570～73年)、奥平貞能の子貞昌(後に信昌)は甲斐国の武田氏に従属したが、1573(天正元年)には徳川氏へ寝返り。貞昌が長篠城主となったことで亀山城の重要性は低下した。1575(天正3)年の長篠設楽原の戦いでの功績により、奥平氏は歴史に名を残すこととなった。
　長篠設楽原の戦い後、一時廃城同然となるが、1602(慶長7)年に奥平信昌の四男である松平忠明が城主となり作手地方を支配する。しかし、1610(慶長15)年、忠明が伊勢国の亀山城へ移封されたことで廃城となった。
　亀山城本丸は標高 547m,比高差約30mの半独立性の丘陵上に立地しており、東西60m,南北28mの楕円形で、周囲は土塁で囲まれている。北側には切岸と斜面途中に置かれた腰曲輪状の平坦部、南側には幅16mの大型の堀を配している。また、主郭の南北部には虎口を設け、それぞれ一段低くなった場所に曲輪を設けている。南側の曲輪は腰曲輪状の小さな平坦地が段々に配され、さらに北西方向には南北に竪堀が延び、登城道への防備性が高い構造となっており、防御性の高い縄張りであったことが挙げられる。
　なお、城跡の発掘調査の結果では、甕や茶碗などの生活用品類がほとんど出土しなかったことから、奥平氏の居住地でなく軍事拠点的な城であった可能性が高いと考えられている。
　亀山城周辺には、武田方によって築城された古宮城跡,塞之神城跡、奥平氏の築城とされ一夜城とも称される文殊山城跡等がある。