父の義光は常陸国の平清幹から常陸国那珂郡武田郷を譲り受けると義清に与え、義清は｢武田冠者｣を名乗る。
　大治5年(1130年)に清光は武田郷と隣郷の境界を巡り紛争を起こし、平清幹の嫡男でもある常陸の在庁官人の大掾盛幹と敵対する。義清,清光はこの抗争において敗北し、天承元年(1131年)には勅勘を蒙って甲斐国の市河荘へ配流となる。
　義光,義清は甲斐国へ赴くと、巨摩郡平塩岡に館を構えたという。その後、義清･清光親子は八ヶ岳南麓の巨摩郡逸見郷へ進出すると、多麻荘若神子に本拠を構え若神子城を築城したという。『正覚寺過去帳』によれば、義清は久安元年(1145年)7月23日に市河荘で死去する。　

　常陸国那珂郡武田郷で生まれる。1130年(大治5年)、一族の佐竹氏と争い、朝廷より父とともに常陸から追放され、甲斐国八代郡市河荘へ流罪となる。義清･清光は市河荘内の平塩岡に館を構え、義清は市河荘司となっている。義清･清光は甲斐国北西部の逸見荘へ進出し逸見冠者を称する。
　清光は保元の乱や平治の乱など源氏の一族も関わっている中央の争乱には参加せず、甲斐国での勢力拡大に務めた。八ヶ岳南麓の逸見荘は古代官牧逸見牧が発達しており、現在の山梨県北杜市長坂町に館を構え、詰城として谷戸城を築城したという。　

　伝承によれば、承安元年(1171年)に宮中に怪異が起こり、高倉天皇は源氏の弓矢の名手として遠光を召され、鳴弦の術を行わせた。遠光は褒賞として不動明王像と近江国志賀郡を下賜されたという。この不動明王像は現在も山梨県南巨摩郡身延町の大聖寺に安置されており、国の重要文化財に指定されている。さらに遠光は特別に｢王｣の一字を許されたとされ、加賀美氏の家紋は三階菱の中に｢王｣の字を配している。
　治承寿永の乱にて次男の小笠原長清と共に参加し、文治元年(1185年)には源頼朝より御門葉の一人として重きを置かれ信濃守に任じられた。
　晩年には衰微していた真言宗の古刹である法善寺を再興。また現在甲府市伊勢に所在する遠光寺を創建したほか、遠光創建を伝える寺社も多い。
　なお、鎌倉では弘安8年(1285年)11月17日に安達泰盛･宗景父子が誅殺される霜月騒動が発生し、騒動では小笠原氏や秋山氏,南部氏など加賀美一族が連座している。このため在地においては加賀美一族は衰退した。　

　遠光は頼朝へ接近を図り一定の地位を確立している。『吾妻鏡』によれば大弐局は文治2年(1188年)7月4日に大倉御所に参上し、頼朝より7歳の嫡男万寿(のちの頼家)の養育係に定められ、9月1日には頼朝と対面して大弐局の名を与えられ、父遠光は盃酒を献じたという。
　さらに、建久3年(1192年)8月9日、頼家の弟千幡(のちの実朝)誕生にあたり、乳母として召された阿波局による乳付けの儀式で介添えを務め、11月の千幡の御行始にも阿波局と共に介添えを務め小袖1領を贈られたという。同年12月、頼朝が父･遠光ら御家人を集めて千幡を披露し盃を振る舞った際には、給仕を務めている。
　頼家に続き実朝の養育係も務め、実朝付き女房の筆頭格となる。建保元年(1213年)5月の和田合戦では敗北した和田氏方の所領であった出羽国由利郡を与えられ、養子である甥の大井朝光に譲ったとされる。　

　甲斐国八代郡浅利郷を本拠とした。兄･武田信義,安田義定らと共に源頼朝の幕下に参加する。弓の名手であり、壇ノ浦の戦いや奥州合戦においてもその強弓をもって戦功を立てた。
　建仁元年(1201年)、建仁の乱において捕虜となった坂額御前の堂々たる振る舞いに深く感銘を受け、鎌倉幕府2代将軍･源頼家に彼女を室として迎えたい旨を申し出る。頼家の何故謀反の徒を室に望むのかという問いかけに対し、｢彼女との間に武勇に秀でた男子を儲けて、幕府や朝廷に忠義を尽くさせたい｣と答えたという。