築城年代は定かではないが、建久年間(1190～99年)に伊庭高実によって築かれたとされる。伊庭氏は観音寺城佐々木行実の四男高実が伊庭の領地を治めて伊庭氏を名乗ったことに始まるという。
　伊庭貞隆の時代になると主家佐々木六角氏に匹敵する勢力を持つようになり、1502(文亀2)年年、佐々木六角高頼は伊庭貞隆を排除するべく立ちあがる。貞隆は湖西へ逃れると管領家細川氏の援助を受けて攻勢に転じ、高頼は観音寺城を捨てて音羽の蒲生氏を頼った。その後、さらに足利将軍を巡る争いがおこり、伊庭貞隆の子貞説の代になって岡山城が落城し没落した。
　1697(元禄11)年、武田氏滅亡後に徳川家に仕え代々旗本となっていた三枝氏の三枝守相が領地替えにより近江国内に7,000石を領し、伊庭城跡に采地陣屋を構え、明治に至る。
　現在の勤節館付近が城址であり、堀跡とされる近くの水路に架かる橋は｢陣屋橋｣と言われ、石垣は当時のものだという。