鎌倉時代初期、源頼朝の重臣であった加藤景廉が遠山荘の地頭になり、子の景朝が遠山姓を名乗った。景朝の長男の遠山景村は、 1242(仁治2)年に那木(苗木)に進出し、次男の景重は1247(宝治元)年に明智に明知城を築城する。
　元弘年間(1331～34年)、遠山景長親子が高森山に砦を築いている。その後、拠点は植苗木に移ったが、1526(大永6)年、遠山昌利が植苗木から高森山へ館を移した。
　1552(天文21)年、岩村遠山氏の遠山直廉(遠山正廉)が苗木の遠山景徳の養子となり、阿寺城を築いて入った後に高森山砦を拡張して苗木城を築いた。
　1570(元亀元)年12月、上村合戦で苗木城主･遠山友勝(苗木勘太郎)，明知城･遠山景行，阿寺城主･遠山友忠，串原城主･串原右馬介経景，小里城の小里内記らが武田方の秋山虎繁軍と戦い、多くが討死している。また、1574(天正2)年2月には、武田信玄の遺志を継いだ武田勝頼が東美濃に侵攻し、苗木城はじめ岩村城の支城16箇所を全て落とした。しかし、1575(天正3)年、勝頼が長篠の戦いで大敗すると、織田信忠が岩村城を落とし東濃諸城を奪還する。
　1582(天正10)年、織田信長･信忠が本能寺の変で没すると、可児郡の兼山城主･森長可が苗木地方を攻め、翌年には苗木城を攻略し、遠山友忠･遠山友政父子は徳川家康を頼って浜松城へと奔った。
　1599(慶長4)年、森氏が信濃川中島に移封されると、川尻直次が苗木城主となり、関治兵衛が城代となった。
　1600(慶長5)年、川尻直次が西軍についたため、遠山友政は徳川家康の命を受け苗木城を攻略し、関ヶ原の戦い後は家康から苗木領を安堵され、苗木遠山氏は後に苗木藩主として明治まで続く。1871(明治4)年、廃藩置県により苗木藩は廃藩、苗木城は廃城となる。
　城は木曽川の北岸にそびえる標高432mの高森山に築かれ、巨岩を巧みに利用した本丸天守は圧巻である。天守へはジクザグに登る道にある多数の城門を通らなければならない。このほか山城として巨大な空堀をもち、三の丸の大矢倉も目を見張るものがある。
　なお、大手門の扉と柱が麓の苗木遠山史料館に展示されている。