築城年代は定かではないが、応仁・文明年間(1467～86年)に六角氏の組下に属していた蒲生貞秀によって築かれたとされる。
　1496(明応5)年、美濃で起きた船田合戦で六角高頼が石丸利光を支援した報復として、美濃の斎藤利国と京極高清らに六角方として攻められたが、勝利している。
　1502(文亀2)年、佐々木六角氏の家臣である伊庭貞隆が主家に背いたため、六角高頼は兵を出して伊庭氏を攻撃したが、却って敗れ、高頼は音羽城に逃れた。伊庭貞隆は援軍の細川政元家臣の赤沢朝経と共に音羽城を包囲したが、落とすことができず退却した。この籠城戦での糧水が乏しいのを知った貞秀は、後に中野城を築き居城として音羽城を属城とした。
　そして、1522(大永2)年には蒲生家の家督争いが表面化。蒲生貞秀は長子の秀行が死去したため、孫の秀紀に家督を継がせようとしたが、貞秀の死後、叔父(秀行の弟)の高郷はそれを不服として六角定頼の援けを得て秀紀の音羽城を攻めた。籠城8ヶ月に及んだ後、秀紀は降伏し定頼の調停により両家分立とした。この時に音羽城は直ちに破却され、家督も高郷の子の定秀に移譲された。秀紀は鎌掛城へと移り3年後に毒殺された。
　城は猪の鼻ヶ岳より北へ派生した尾根の先端に築かれていたが、現在は音羽山公園となっており、広い平坦地には北側に本丸,二の丸があったとされる。南側の庭園跡付近に土塁の残存と井戸跡が残り、北西部には出丸がある。しかし、公園化により遺構の大半は崩されたとのこと。