伊豆に配流された源頼朝は三島大社を篤く信仰し、治承4年(1180)、挙兵に当たって三嶋大明神の神威を頼み、安達藤九郎盛長を使として社参せしめ、戦捷を祈請し、挙兵成功ののちに、三薗郷,川原谷郷の二郷を神領として献じ、神主盛方を沙汰職に補任した。近世のはじめに矢田部を名乗り、いまも三嶋大社の神職として連綿している。
　頼朝の信仰はその後も篤く、元暦元年(1184)4月糠田郷を献り、流鏑馬を奉納し放生会を行い、文治3年(1187)には社殿の造営を行った。また、頼朝妻である北条政子が奉納した｢蒔絵手箱｣は国宝に指定されている。