伝承では712(和銅5)年に多武峰妙楽寺(現在の談山神社)の別院として藤原鎌足の長子・定慧が創建したという。聖林寺の近世までの歴史は不明の部分が多いが、江戸時代には性亮玄心が三輪山平等寺の遍照院を移して再興したと伝えられる。
　江戸中期には文春諦玄により現在の本尊・子安延命地蔵菩薩像が安置された。明治の神仏分離令の際に、三輪明神(大神神社)神宮寺の大御輪寺本尊の木心乾漆十一面観音立像が聖林寺に移された。十一面観音立像は国宝、像高209.1cm。木彫りで像の概形を作り、その上に木屎漆(麦漆に木粉等を混ぜたもの)を盛り上げて造像する木心乾漆像で、奈良時代末期の作である。この像は、明治時代に来日した哲学者で美術研究家のアーネスト・フェノロサが激賞したことで知られるようになった。