『吾妻鏡』による平維衡の末裔とされる実忠が伊勢国鈴鹿郡関谷を賜り、関氏を称した初代と伝わり、実忠以降の数代の事跡は明らかでない。『系図纂要』では平盛綱の兄弟としており、ともに北条泰時の側近となっている。元久元年(1204年)の三日平氏の乱の平定に功があり、伊勢鈴鹿郡関谷の地頭職を与えられて、関氏を名乗るようになったという。祖父とされる平資盛が流された平家累代の領地も伊勢鈴鹿郡久我荘である。
　『吾妻鏡』の各所に関左近大夫将監実忠の名で、平盛綱ら北条氏重臣とともに記述されており、当時、鎌倉にあって北条氏の重臣として活躍してたものと推察されている。承久3年(1221年)の承久の乱においては、北条泰時に従って上洛した18騎のうちの一人という。判官代という官位名で登場しており、主力となる東海道軍に加わり、宇治川の戦いでは北条時氏の軍にあって先駆けの功があったという。貞応3年(1224年)に北条義時が死去すると、泰時は世情の混乱を回避するために私的な交際を避け、側近の平盛綱，尾藤景綱らわずかな近臣のみを側に置いたが、その中に実忠も含まれている。同年の伊賀氏事件では泰時の側近として働いた。『吾妻鏡』に尾藤景綱とともに泰時邸の郭内に邸宅を構えたとの記述がある。
　宝治年間(1247～49年)頃に領国に下り、初め久我(現亀山市関町)に館を構えた。後に地の利を求めて居を移そうとしたが、板渕氏の抵抗にあったため一旦山下(現亀山市山下町)を経て、文永元年(1264年)に板渕氏と和睦して若山(現亀山市若山町)に移ったとされるが、これが後の亀山城の原型という。
　なお、蒲生氏郷の家臣･神戸政房が伊勢の諸家の記録を読み、子の神戸良政が地元の老人に聞き込みを行った上で編纂し、比較的信頼性が高い資料とされる伊勢の軍記物『勢州軍記』の序章に伊勢国の諸家に関する記載がある。関一党については、世に言う殿下乗合事件で、13歳から6年間、平資盛が伊勢鈴鹿郡久我荘に流されたが、伊勢･伊賀は平家累代の領地であったため、住人，平家一族，諸侍に厚遇を受けた。この時期に生まれた資盛の子･平盛国が平実忠と盛綱兄弟の父であり、その後、盛国は源頼朝の平氏追討軍に捕えられたが、平重盛に恩義を感じていた頼朝が助け、北条時政に預けられ、北条氏に仕えるようになったという。盛国の長男･実忠は建仁4年(1204年)の平家の謀叛(三日平氏の乱)の後、伊勢鈴鹿郡関谷の地頭職を与えられて関氏の祖となり、北条家与力となって鎌倉に住み、その弟の三郎左衛門尉盛綱は北条家の執事となり権威をふるい、北条家内管領長崎氏の祖となった旨が記されている。『系図纂要』にも寿永3年(1184年)に頼朝が小松氏旧恩のため北条氏に預けた旨が記載されている。ただし、いずれも戦国時代から江戸時代の記録であることには注意を要する。