元々平知盛の家人であった父に従い、治承四年(1180年)に平家を見限って源頼朝の麾下に入る。奥州合戦の論功で出羽国小鹿島の地頭に補された。文治5年(1189年)に起きた大河兼任の乱では敵前逃亡するなど一時は源頼朝の不興を買うが、結果として援軍を待ってから敵に当たった行為が適切であったとの評価を得、乱後も小鹿島の所領を維持したほか、加えて出羽国秋田郡を得た。
　承元3年(1209年)12月、御家人の美作朝親の室と密通していたことから、朝親との間で合戦となり掛ける事態となり、実朝の命を受けた北条時房の仲介により事なきを得るという騒ぎにまで発展している。
　承久3年(1221年)、長門守護となる。嘉禎2年(1236年)に、本領であった伊予国宇和郡を西園寺公経に譲り、替地として肥前国杵島郡長島庄,大隅国種ケ島,豊前国副田庄,肥後国球磨郡久米郷を与えられ、子孫は肥前国を中心に広がることとなり、かつて所領とした小鹿島の地名をとった小鹿島氏として繁栄した。