築城年代は定かではないが､南北朝時代に井伊道政によって標高467mの三岳山山頂に築かれた。
　1339(延元4/暦応2)年、井伊道政は後醍醐天皇の皇子･宗良親王とともに三岳城に籠もり、南朝方の拠点とした。北朝方の高師泰，高師冬，高師兼，仁木義長らの大軍が支城の鴨江城,千頭峯城を落とし、さらに三岳城へと迫った。翌1340(興国元/暦応3)年正月30日に三岳城が落城すると、道政と宗良親王は大平城へと逃れ立て籠もったが、8月24日にはここも落城した。宗良親王は、さらに駿河の安倍城へ移ったと推測されている。
　また、1513(永正10)年、引馬城主･大河内貞綱が尾張の斯波義達と結んで反今川の兵を挙げたとき、井伊直盛もこれに呼応し三岳城に籠もったが、今川氏の武将･朝比奈泰以の猛攻を受けて落城し奥山城へ逃れ、後に今川氏に降った。
　城は、山頂から尾根に沿って細長く、一の城(山頂の本曲輪),二の城(東の尾根にある東曲輪)そして三嶽神社境内である三の城(出丸)と分かれ、急峻な自然地形を利用した中世城郭の典型的な形態を有している。三嶽神社から続く大手道は本曲輪と東曲輪の間に通じる。東曲輪は東西に長く途中空堀によって東西二郭に分かれ、東端に堀切を設けている。本曲輪の西側斜面には雛壇状に帯曲輪があり、下部の二段は外側に土塁を設けて横堀状にしている。土塁は一部内側と外側に石積が施されている。一番下の段は横への移動を防止するためか縦の土塁がある。この近くの開口部は後世の改変とみられている。