築城代は定かではないが、室町時代初期に岡部氏によって築かれたとされる。岡部清綱は駿河権守の任期が切れても京へ戻らず岡部郷に土着して岡部氏の祖となった。
　1536(天文5)年、駿河守護･今川氏親の死後、嫡男の氏輝が家督を継ぐが齢24で死去。同日に氏輝を継ぐはずの弟の彦五郎も死去している。これによって出家していた弟の栴岳承芳(後の今川義元)と玄広恵探(今川良真とも)の間での家督を巡る花倉の乱が発生し、岡部左京進親綱は恵探方が占拠した方上城を攻め落とし、ついで花倉城も攻め落として功をあげた。1588(天正16)年、岡部氏は関東に移封となり廃城となった。
　城は潮山の支峰となる標高110m,比高約90mの朝日山(牛伏山)に築かれており、その規模は東西約600m,南北約200mに及ぶ。山頂部が一ノ曲輪(主郭)となり三方に土塁が残されている。その南東下が二ノ曲輪とされ、現在は朝日稲荷神社が建つ。曲輪はさらに東に向けて配置されている。なお、山麓には岡部氏居館跡があることから朝日山城は詰城であったとみられる。また、南南東約1Kmにある潮城跡は支城と考えられている。