京において源義朝に仕え、平治の乱では義朝の長男･義平に従軍する。乱の後の動向は明確ではないが、『平治物語』によると京において義朝の娘･坊門姫(のちに一条能保室)を養育したとされる。
治承4年(1180年)に義朝の遺児･頼朝が挙兵すると、養子の基清とともにその麾下に参加。平家追討の戦いでは源義経軍に加わり、屋島の戦いに際しては、平家軍が海上に逃れた後にその城塞を焼き払い、反撃意欲を絶つという活躍を見せている。またこの戦いの際、扇の的の射手に那須与一を推挙し、その人を見る眼の確かさを大いに賞賛されたという。