1654(承応3)年、後水尾天皇が皇女･多利宮を開基として創建した臨済宗南禅寺派の門跡尼寺(尼門跡寺院)である。荒廃していた如意寺の如意輪観世音菩薩と霊鏡を併せて祀ったことから霊鑑寺と名付けられた。創建以来、明治まで代々皇女や皇孫女が入山在院した。谷御所，鹿ヶ谷比丘尼御所とも呼ばれ、菊の御紋を使用する格式の高い寺院である。江戸時代後期の光格天皇の時代、御所が火災となった際に霊鑑寺が仮御所と使用されたという。
　本堂は江戸幕府11代将軍･徳川家斉が寄進したものである。石組が特徴的な江戸時代中期の作庭手法を用いた格調高い池泉観賞式庭園があり、また、後水尾天皇遺愛の散椿をはじめ、多くの名椿が植えられ｢椿の寺｣としても知られている。ただ、通常の時期は非公開で、春の椿が咲く頃と秋の紅葉の時期に期間限定で特別拝観が行われている。