1560(永禄3)年、大和の実力者として台頭した松永久秀によって、大和支配と南都の拠点として眉間寺山に築城された。1561(永禄4)年、久秀が入城し1564(永禄7)年に城が完成する。城には多聞天を祀り多聞山城と呼ばれた。曲輪全体に礎石と石垣を使用し、壁には分厚い土壁、瓦葺の屋根の恒久的な建物を築いた平山城で、城内には本丸(詰の丸)に主殿,会所,庫裏の座敷など豪華な建築が建ち並び、庭園,金工の太阿弥の引手などの内装や狩野派絵師の絵画、座敷の違い棚や茶室の落天井等の造作など、西日本随一の豪華な城郭であり、有数の至宝である絵や茶道具も集められていた。連結した西の丸には通路沿いに重臣の屋敷や家臣の家が建てられていた。
　1573(天正元)年末に織田信長への引き渡し後に1575(天正3)年3月に塙直政が大和守護として入ったが、翌年5月の石山合戦の天王寺砦の戦いで討死、その後、織田信長は郡山城以外の城の破却を命じたため、1577(天正5)年6月に破壊された。解体時に｢高矢倉｣と呼ばれた四階櫓があり、これが四重の天守なら、安土城をはじめとする近世城郭における天守の先駆けと言えるが定かではない。だが、塁上に長屋形状の櫓が築かれ、これが多聞櫓の始まりであるとされる。先駆的な要素を持った城で中世の城郭様式から脱し、その後の近世城郭に移行する過程の城郭発達史における重要な城であったと位置づけられている。解体後の建物や内装は京都旧二条城(本能寺の変で焼失)に移築され、石材の多くは筒井城に用いられ、さらに郡山城にも移された。
　本丸は長さ140m,最大幅110mとされ、現在は奈良市立若草中学校が建つ。また、西の仁正皇后陵,聖武天皇陵にも曲輪,土塁跡はあり、両陵墓ともに多聞山城の一部であったとされる。周辺には多聞山城の石垣として使われた石仏がいくつか残っている。