672年の壬申の乱の際、大海人皇子に味方して倭(大和国)で挙兵した大伴吹負は、倭京を奪い北に軍を進める途中、荒田尾赤麻呂の進言により本営の古京(倭京)の守りを固めることとし、赤麻呂と忌部首子人を遣わして古京を守らせた。赤麻呂らは道路の橋板を取り壊して楯に作りかえ、四つ辻に立てておいたことで果安の軍の進入を止めた。『日本書紀』には他に子人の活躍は見えない。
　天武天皇10年(682年)天皇は大安殿で帝紀と上古の諸事を記し定めることを命じた。6人の皇族と6人の他の官人の中に小錦中忌部連首の名がある。忌部首と中臣大島が中心執筆者であった。これが『日本書紀』編纂の着手を意味すると考えられている。

　天平7年(735年)兄の忌部虫名とともに祭祀権を巡って中臣氏と争い、伊勢幣帛使となることに成功した。天平21年(749年)民部卿・紀麻呂らとともに伊勢大神宮に幣帛を奉納し、従五位下に叙せられる。
　その後、孝謙朝では典薬頭･木工助を務め、淳仁朝では木工助･信部少輔を務める。天平宝字8年(764年)正月に従五位上に叙せられるが、同年9月に発生した藤原仲麻呂の乱に連座し位記を奪われたらしい。天平神護3年(767年)罪を赦され、本位(従五位上)に復している。

　平安京右京の人。延暦22年(803年)3月に忌部宿禰姓から斎部宿禰姓に改姓したが、凶事を連想させる｢忌｣の字を忌避したためか。また同月には第23次遣唐使の派遣に先立って、唐の情報を得るために遣新羅使に任命され、7月に新羅に渡っている。
息子ともされる斎部広成が著した『古語拾遺』の識語に「浜成が作る所の天書は、古事記に非ず。別書なり」と記載されており、浜成を『天書』の撰述者としている。

　延暦22年(803年)父の浜成らとともに、忌部から斎部に改姓した。
　斎部氏は代々中臣氏と並んで朝廷において祭祀を掌る官職に任ぜられてきたが、中臣氏の裔流から藤原氏が台頭すると、中臣氏が祭祀の官職を独占するようになった。このような中で、大同元年(806年)に中臣氏と忌部氏の双方から自らの氏族を幣帛使に任ずるべきとの訴えが出された(中臣･忌部相訴)。訴えに対して勅命が出され、ある程度忌部氏の訴えが認められた。
　さらに広成は、大同2年(807年)平城天皇の朝儀に関する召問に応えて『古語拾遺』を著すことで、斎部氏の職掌の正当性を由縁と根源を主張し、世間に知らしめた。この時に広成は81歳とも伝わる。広成はこの功績もあり、翌大同3年(808年)従五位下に叙せられた。

　右京出身。身分の低い出自であったが、工芸の技術に優れていることで名が知られていた。造東大寺所に属した。斉衡2年(855年)地震により東大寺大仏の仏頭が地面に落下した際、修理できる工人はいなかったが、文山は轆轤と長い梯子を利用して仏頭を引き上げて大仏の首に繋いで、まるで新しく作り直したかのように修理したという。文山によって考案された轆轤と梯子を利用した仏頭を引き上げるための機械は『日本三代実録』に｢雲梯之機｣と記され、日本最古のクレーンともされる。
　貞観3年(861年)朝廷が大法会を開催して大仏の修理落成供養を行った際、大仏修理の功労により従八位下から従五位下に昇叙された。貞観9年(867年)4月4日卒去。享年46。

　『日本書紀』の壬申の乱のくだりに兄の忌部子人の活動が記されるものの、忌部色夫知の名は見えないが、死亡記事から色夫知も何かの活躍をしたことが知れる。
　天武天皇9年(680年)忌部首(忌部子人)に連姓が与えられた。首は弟の色弗とともに喜び、天皇を拝した。天武天皇13年(684年)八色の姓の制定に伴い、忌部連など連姓の50氏族が宿禰姓を与えられた。
　持統天皇4年(690年)皇后として称制していた鸕野讚良皇女が即位した際、石上麻呂が大盾をたて、中臣大島が天神寿詞を読み、その後に忌部色夫知が神璽の剣と鏡を奏上した。
　大宝元年（701年）6月2日卒去。最終位階は正五位上であった。詔があって、壬申の乱における功労により従四位上の贈位がなされた。