988(永延2)年、源頼信の嫡子として河内国古市郡壺井村の香炉峰の館で生まれた。
　1028(長元元)年の平忠常の乱の際に父を助け乱の鎮圧に貢献し、早くからその武勇を東国武士に知らしめていた。後に敦明親王に仕えて、相模,常陸,武蔵,下野の国守を務めた。頼義は東国武士との関わりが深く、1051(永承6)年に俘囚の長である安倍頼良(のち頼時)が反乱を起こすと乱(後三年の役)の鎮圧にあたった。一旦は頼時を従わせたが、その後、頼時とその子・貞任が再び反乱を起こし前九年の役となると、出羽の豪族清原氏の援を得て、1062(康平5)年に乱を平定し、この功績によって、正四位下・伊予守に任官した。
　その後、1075(承保2)年に87歳でその生涯を閉じ、通法寺境内に葬られたといわれている。現在の石の墓標や柵は明治末年に造られたもので、石灯籠は元禄年間に柳沢吉保らから寄進されたものである。東南方約200mの丘陵地には父の頼信墓所と子の義家墓所もある。