築造年は定かではないが、戦国時代にはすでに遍照寺が建立され、戦時には境内が砦として活用されたと考えられている。遍照寺は今川氏と関連があったとされる。
　砦跡は標高88.5ⅿ,比高63ⅿの丘陵上に位置し、広大な単郭で東西に90ⅿ、南北にも200ｍを測る。遍照寺本堂の横には1718(享保3)年に造立された大日如来坐像(森町指定文化財)が建つ。本堂裏など周辺には土塁の一部が残存する。南端には幅6mほどの堀切が設けられ、また、南端の細尾根の東側には幅7m以上の横堀が発見されているが、この横堀の位置(方向)から武田氏が徳川方の久野城を意識して築いた(改修した)砦とする見方があり、高平山砦は、1572(元亀3)年10月に武田信玄が遠州侵攻した際に飯田城とともに落としたとされる｢たたらの城｣とも考えられている。信玄はここを拠点として久野城を攻略し、一旦北上して二俣城を開城させ、12月22日には三方ヶ原の戦いに及んだことになる。
　高平山砦のすぐ南西には本庄山砦跡、東には宇刈北城跡がある。