築城年は定かではないが、1330年代前半に南朝方に属した内牧城主･狩野介貞長(貞永)が本城として築き、久住砦などの城砦群とともに安倍川を挟んで北朝方の今川氏に相対した。1338(暦応元/延元3)年には今川範国が安倍城を攻撃している。
　1392(元中9/明徳3)年の南北朝統一後は今川氏に恭順していたが、1433(永享5)年の今川範政の死によって勃発した今川家中の内紛に乗じて離反するものの、逆に今川方に攻められて衰退した。この頃に廃城となったと考えられている。
　城は安倍川の右岸にそびえる標高435m,比高400mの山頂にあり、北朝方の今川氏が籠もった賤機山城を見下ろすことができる。幅35mほどの最上部の主郭を中心として、北東から南西に伸びた尾根に曲輪を配しており、一部の曲輪間には堀切を設けている。なお、遺構の多くは南北朝期よりも後の時代の改修によって造られたものと考えられている。
　安倍城への道はハイキングコースとしてよく整備されている。登山コースは東南麓の慈悲尾増善寺からのコース，西南麓の羽鳥洞慶院からのコース，北東側の西ヶ谷からのコースがあるが、途中には急峻な箇所も多い。