長元8年(1035年)に催された藤原頼通家歌合に源頼実,藤原経行らと共に蔵人所雑色として参加したことが知られる。蔵人兼右兵衛尉在任時であった天喜3年(1055年)には内裏の蔵人所町屋(蔵人の詰所)に逃げ込んだ抜刀の暴漢を郎等の滝口武者源初,小野幸任らと共に取り押さえた功により検非違使に任ぜられた。
　同5年(1057年)、前九年の役で苦戦する源頼義の後援として源兼長に代わり出羽守に任ぜられ下向した。しかし出羽赴任後の斉頼は頼義に対して非協力的な態度を示し、その戦功も役の終盤に出羽に逃れた安倍良照とその甥正任を捕縛する程度のものに留まっている。没年は不明であるが、現在の滋賀県高島市マキノ町牧野に存在する斉頼塚古墳は斉頼の墳墓と伝えられる。
　斉頼は優れた鷹飼であったことが知られ、高麗から渡来した鷹匠・兼光より継承したとされるその秘技は｢呉竹流｣あるいは｢政頼流｣などと呼ばれ、後の諏訪流とその諸派に伝承された。
　鎌倉時代初期に編纂された説話集『古事談』には、当時の風潮から殺生に対し批判的な表現が書き加えられながらも終生鷹を飼う事を生業とし盲目となった晩年にも撫でるだけで鷹の産地を言い当てたという説話があり、また｢斉頼｣という言葉が｢その道の達人｣を指す名詞として流布するなど、伝説的な鷹飼として語り継がれる。こうした斉頼の姿は狂言『政頼』の題材ともなった。