源義朝の墓は野間大坊にある。1159(平治元)年、平治の乱に敗れて東海道を下ってきた義朝は、随行していた鎌田政家(政清)の舅である尾張国野間内海荘の長田忠致の許に身を寄せるが、翌年正月3日、忠致,景致父子は平家からの恩賞目当てに御湯殿に入浴中の義朝を騙し討ちした。このとき、義朝は｢我れに木太刀の一本なりともあれば｣と無念を叫んだとされる。義朝の墓には、この故事に因んで幅約3cm,長さ約40cmの木刀が山のように供えられている。また境内には義朝の首を洗ったとされる｢血の池｣があり、国に異変があると池の水が赤く染まるという伝説がある。
　『吾妻鏡』によれば、平康頼は尾張守として任地にあった時、野間庄にある義朝の墓が守る人もなく草が生い茂り荒れ果てていたため、小堂を建て田三十町を寄進して僧6名を置いて供養に当たらせた。義朝の子である頼朝はこの功績に応え、康頼を阿波国麻殖保の保司に任じたという。また、1190(建久元)年10月、上洛途上の頼朝が野間庄にある父・義朝の墓に詣でた際、荒れ果てた墓を想像していた頼朝は、立派な寺が建ち供養されていることに感心した。このとき頼朝が父の菩提のために寄進を行い、伽藍を整備し、自らの守本尊である地蔵菩薩像を安置したという。