平氏の流れを汲む中村氏の一族で、相模国大住郡土屋(現在の神奈川県平塚市土屋)を拠点とした。兄･実平とともに治承4年(1180年)8月の源頼朝挙兵から側近として仕え、石橋山の戦いで敗れた頼朝に従い、安房に逃れた七騎落の一人であるとも言われている。同年9月の甲斐源氏との連携作戦で、北条時政と共に頼朝の使者となって重要な役割を果たした。以後、有力御家人の一人として活躍した。
　承元3年(1209年)5月、宿怨から梶原家茂(梶原景時の孫)を和賀江の辺で殺害し、侍所別当の和田義盛のもとに出頭して身柄を預けられた。宗遠の主張には十分な正当性が認められなかったが、翌月、将軍･源実朝は故頼朝の月忌にもあたっていたため、特に彼を赦免している。
　土屋氏は鎌倉幕府から江戸幕府までの間で北条氏，足利氏，武田氏，徳川氏に仕え、武家社会の基盤を支え続けた。