創立は1839(天保10)年で、浜松藩主水野忠邦をはじめ郷土の国学者高林方郎等の協力によって、現在の賀茂神社境内に「縣居翁霊社」として祀られた。賀茂真淵の学風は本居宣長をはじめとして三百余名の門人を通じて全国に及び、学問の守護神,学徳成就の守り神として崇敬されている。
　1920(大正9)年に現在地に移転したが、1945(昭和20)年、戦災のために社殿等焼失。このとき、縣居文庫(賀茂真淵の本家筋に当たる岡部讓翁が真淵の学徳を偲び蔵書を寄贈したもの)もその多くが焼失してしまった。現在の社殿は1984(昭和59)年に再建されたものである。