河内国石川郡壷井に生まれ、当初近江国に本拠を置いていた。しかし、長元元年(1028年)、関東の下総で平忠常の乱が勃発。父の頼信は、乱を平定して東国に勢力を張った。その功績を以って3男である頼季も信濃に封を得て、嫡男･満実とともに長久年間に高井郡井上(現長野県須坂市)に移住し、地名をもって名字とし井上頼季と名乗り井上氏の祖となった。
　源氏の中でもいち早く信濃に入ったたため、信濃源氏の祖とされる。頼季は井上に土着し井上郷の開発を進め、米持,高梨,須田氏らの同族を周囲に配し、これらは井上氏族と呼ばれている。
　つづいて、前九年の役(1056～62年)で長兄の源頼義が出陣すると、頼季･満実父子も従軍したとされている。
　なお子孫は信濃に勢力を持ち続ける一方で、庶流は安芸や播磨に所領を得て移住した。

　頼季が信濃に封を得て、嫡男･満実とともに長久年間に高井郡井上に来住し、地名をもって名字とし井上氏の祖となった。そして、尊卑分脈には米持,高梨,須田氏らを同族としてあつかっている。
　つづいて、前九年の役(1056～62)が起きて源頼義が出陣すると、頼季,満実も従軍した。役後、井上三郎太夫満実は一族を引き連れて高井郡高梨に着し、三男盛光をとどめ、盛光は地名をとって高梨を名乗り、高梨氏の祖になったという。
　以上の説は俄かに信じることはできないが、おそらく11世紀中ごろに清和源氏の末流が井上の地に居住し、武士団として成長していったものと考えられる。