神代に少彦名神を祀ったことに始まり、古代に沙沙貴山君が大彦命を祀り、景行天皇が志賀高穴穂宮遷都に際して大規模な社殿を造営させたと伝わる。後にこの地に土着した宇多源氏によって宇多天皇とその皇子であり宇多源氏の祖である敦実親王が祀られ、それ以降、佐々木源氏の氏神とされて子々孫々が篤く崇敬していた。婆沙羅大名の佐々木道誉、天保年間に消失した社殿を再建した丸亀藩主京極高明、日露戦争203高地の戦いで有名な乃木希典もその一人である。
　本殿,透塀,中門,権殿,拝殿,楼門,東廻廊,西廻廊の8棟は平安,鎌倉時代の様式で江戸時代に建立されている。いずれも滋賀県指定有形文化財。