荒加賀と呼ばれた。加賀守任期後の永承4年(1049年)12月、長らく対立関係にあった興福寺の大衆が国司である父･頼親の邸宅に攻め寄せ、頼房がこれに矢で応戦して多数の僧を殺害したことから、激昂した興福寺の訴えにより翌年(1050年)正月、父･頼親は土佐国に、頼房は隠岐国に配流されることとなった。
　康平5年(1063年)12月、赦免され本位に復す。しかし、承保3年(1076年)、再び興福寺の訴えにより肥前国へ配流となり、同地において間もなく没したという。　

　『尊卑分脈』の記述によれば、祖父･源頼親の養子となっていたとされる。
　治暦3年(1067年)陸奥守に任ぜられる。延久2年(1070年)、後三条天皇の勅により蝦夷征伐に赴き、清原貞衡(真衡)の助勢によって蝦夷らの支配する津軽、下北半島のあたりまで征伐を行った。その間、延久2年(1070年)12月26日に記された頼俊の解状によれば、陸奥国南部に領地のあった散位･藤原基通などの梟悪之者が官物や公事を拒否した上、国印と国倉の鍵を奪うという事件が発生した。この折、朝廷の命により下野守に任ぜられた源義家の助勢によって、この争いを平定しているという事件まで起きている。基通は義家の意を受けて頼俊が陸奥に勢力を伸ばすのを妨害するために事件を起したと見られている。ちなみに、同じ解状には｢荒夷が兵を発し、黎民が騒擾す｣とあり、蝦夷が依然として朝廷の支配に服さぬことを記している。
　治暦3年(1067年)以来、清原氏の助力を以って衣曾別嶋荒夷と閉伊七村山徒を平定し、日本の東端(北端)を津軽海峡まで到達させたこの大規模な一大事業は延久6年(1074年)まで行われ、のちに延久蝦夷合戦といわれた。
　この戦では頼俊はさしたる恩賞を受けなかったが、その軍事力のほとんどを頼んでいた清原貞衡(真衡)は鎮守府将軍従五位下に叙せられ、父･武則以来、2代に続く鎮守府将軍職への就任を果たしている。
　その後、帰京した頼俊は永保元年(1081年)9月24日に御所への直訴により濫妨しようとした園城寺の僧徒らを朝廷の命により、捕らえるという武功も挙げている。