布施氏により室町時代に築城された。布施山(玉緒山)山頂の前方後円墳を活かした(主郭が後円墳,副郭が前方墳)城で、石積の虎口,土塁,井戸跡などがよく残っている。主郭周囲には、高さ1m前後の土塁が廻らされており、南東隅には井戸跡と思われる窪地がある。また、近江では数少ない畝状竪堀が西側にみられる。
　布施氏は佐々木六角氏の家臣であり、本家筋で布施山城城主の布施三河守家と分家の布施淡路守家(大森城城主)に分かれていた。1563(永禄6)年、観音寺山城内で六角義弼が筆頭家臣であった後藤賢豊親子を誅殺すると、これに反発した家臣らが自領へ引き上げ、布施淡路守公雄も湖北の浅井長政と通じて、布施三河守とともに布施山城に籠城した。六角義賢,義弼父子も観音寺城を追われることとなる(観音寺騒動)。布施山城は三雲賢持らに攻められたが、浅井勢が愛知川畔まで侵攻し六角氏側の背後を脅すようになると、六角義賢,義治父子は蒲生定秀,賢秀父子に調停を申し入れた。その結果、観音寺城へ復帰することはできたが、代償として六角氏の権限を大きく制限する｢六角氏式目｣が制定された。
　1568(永禄11)年、織田信長の近江侵攻の際、布施三河守は籠城し戦うが敗れ、布施山城は落城によって廃城となる。このとき三河守は六角家の｢真鳥羽根付き節無しの矢軸｣という名宝を探し出して信長に献上したと『信長公記』にある。落城後は織田家に仕えた。