1043(長久4)年、河内国司であった源頼信の子源頼義が猟の際に千手観音の霊像を得て、これを本尊にして創立した寺院と伝えられている。前九年の役の時、頼義が子の八幡太郎義家とともに奥州へ出陣。凱旋ののち、｢香呂峰の地｣と呼ばれた同地に八幡宮を祀ったが、これが西北に隣接する壷井八幡宮の起りとなった。頼義は浄土宗に帰依し阿弥陀如来を本尊としたことから河内源氏の菩提寺となり源氏の隆盛と共に栄えた。
　南北朝時代には、戦火により焼失したが、江戸時代になって源氏の子孫・多田義直が5代将軍綱吉に願い出て柳沢吉保らが普請奉行となり再興された。明治元年の廃仏毀釈により廃寺とされ、山門、鐘楼などを残すのみとなった。旧境内には源頼義の墓がある。