552年、百済聖王(聖明王)から仏像と経典を賜った欽明天皇は､群臣にこれを礼すべきかどうかを問う。原始神道(古神道)派の物部尾輿,中臣鎌子は｢仏は天地の180の神に対する蕃神｣と主張し、仏教受容派の蘇我稲目や渡来系氏族は｢仏を礼する西の諸国に背くことはできない｣と両者反目した。欽明天皇は意見二分のため仏教への帰依を断念し、仏像を稲目に託し個人礼拝と稲目の向原の家を寺(向原寺)にすることを許した。しかし、その後に疫病が流行し、物部,中臣氏らはこれを仏像を祀ったことに対する日本の神の怒りであると奏上し、天皇の許可を得て稲目の寺を焼き払い、仏像を難波の堀江に投げ込んだとされる。
　1772(明和9)年、難波池より百済仏と考えられる金銅仏が発見された。1974(昭和49)年に盗難に遭い長らく消息不明だったが、2010(平成12)年にオークションに出品されていたところを見つけ買い戻されて、現在は向原寺に安置されている。
　一方、『善光寺縁起』には、本尊の一光三尊阿弥陀如来像はインドから百済へと渡り、552年に日本に百済より贈られたと語られている。602年、信濃国麻績の本田善光というものが子の善佐とともに都を訪れたある日、難波の堀江あたりを通った時、水中から御光が輝き名前を呼ぶ声が聞こえ、「我は阿弥陀如来である。汝と一緒に衆生を済度しよう」と告げられた。善光は阿弥陀仏を拾い清めて背に背負い、信濃に持ち帰って一心に礼拝供養したというのが信州善光寺の起源であると伝えられている。こちらは絶対秘仏とされている。
　なお、難波の堀江は、明日香ではなく、当寺の海の玄関でもあった難波に築いた運河という説もある。