築城年は定かではないが、1523～24(大永3～4)年頃に浅井亮政によって築かれたとするのが有力である。1525(大永5)年、六角定頼が江北に侵攻した際には亮政は篭城戦を行い、1538(天文7)年に六角定頼に攻め込まれたときには小谷城を退城し美濃国に逃亡した。
　亮政の後、浅井久政,浅井長政と続き、長政は織田信長の妹･お市の方を継室としていたが、1570(永禄13)年4月に織田信長･徳川家康連合軍が北陸の朝倉義景を攻めると、信長を裏切り後方から挟撃した。信長は辛うじて京都,岐阜へと帰還したが、1570(元亀元)年6月には小谷城から南に5Kmほどの姉川を挟んだ地点で浅井･朝倉連合軍と織田･徳川連合軍がぶつかり合い、織田･徳川軍が勝利する(姉川の戦い)。信長は小谷城の堅固さを考慮して城攻めを断念し、姉川南岸の横山城を攻略して木下秀吉を配置し、浅井氏に対する付城(前線基地)とした。
　その後、浅井方の磯野員昌(佐和山城)，宮部継潤(宮部城)らの諸将が徐々に寝返り、付城も横山城から小谷城の南側の正面にある虎御前山城へと前進した。
　1573(天正元年)8月8日、山本山城の阿閉貞征が羽柴秀吉の調略により織田方に寝返ると、小谷城の包囲が可能になった。信長は10日には北国街道を封鎖し朝倉義景の軍勢を小谷城から離れた位置に留め置き、8月12日、嵐の襲来を好機と見て、数日前に降伏した焼尾砦(大嶽城の北麓)を守る浅見対馬守の手引きで大嶽を攻撃、落城させることに成功した。翌日には形勢不利と見た朝倉軍が撤退するところを一気に強襲し、朝倉軍に壊滅的な打撃を与えた(刀根坂の戦い)。さらに信長は越前へ攻め込み、8月20日、朝倉氏を滅亡(義景自刃)させ虎御前山に帰陣した。8月27日には羽柴秀吉の軍勢が清水谷の急傾斜から小谷城京極丸を急襲して陥落させ、本丸を守る長政と小丸を守る長政の父･久政を分断させることに成功し、小丸を落とし久政を自害させた。さらに本丸も落ち、9月1日、長政は本丸の袖曲輪にある赤尾清綱の屋敷で自刃し、浅井氏は滅亡した。なお、お市の方は3人の娘･茶々，初，江(江与)と共に藤掛永勝によって救出され織田家に引き取られた。
　その後、浅井氏の旧領のうち伊香郡，浅井郡，坂田郡は戦功のあった羽柴秀吉に与えられるが、秀吉は1575(天正3)年に北国街道と琵琶湖に面し港もある今浜に新たに長浜城を築城したことで、小谷城は廃城となった。
　小谷城は日本五大山城の一つに数えられ、標高約495m小谷山(伊部山)から南の尾根筋に築かれている。現在は土塁,曲輪などのほか、先駆的に取り入れられた石垣なども遺構として残っている。主郭部は南北に細長く、最先端の御茶屋敷曲輪，御馬屋敷曲輪から本丸曲輪へと続く。本丸は南北40m×東西25m規模があり、上下二段から成り立っている。また東西の裾には土塁があり、本丸下の千畳敷曲輪(大広間跡)方向には石垣が築かれている。本丸とその奥に続く中丸との間には深さ5〜10mほどの堀切があり、北側の中丸，京極丸，小丸，山王丸と分断されている。京極丸は京極氏の屋敷があったとも京極氏が幽閉された場所ともいわれる。千畳敷曲輪に次ぐ二番目に広い曲輪跡である。京極丸の北側の小丸は浅井久政が切腹し果てた場所、主郭部の最も北側にあるのが詰めの曲輪とされる山王丸である。さらに山道を登った小谷山の頂上には、小谷城の支城の一つとして機能していた大嶽城がある。浅井亮政の築城当初は、小谷城はこの大嶽にあったとの説もある。
　主郭部のある尾根の西側の尾根には福寿丸，山崎丸があるが、当時としてはとても高度なものであり、元亀年間(1570～73年)に援軍に来た朝倉軍が築いたものとも、羽柴秀吉によって築かれたものとも考えられる。
　このほか、曲輪を守るかたちで武家屋敷跡が点在し、清水谷などの要所には重臣の屋敷が配置されていた。