『尊卑分脈』によれば、野見宿禰の3世孫であり、仁徳天皇の御代に土師連となって供奉したという。

　もともと土師宿禰姓であったが、同族の古人らが天応元年(781年)本拠地の地名に因んで、菅原宿禰に改姓したことと同様に、翌天応2年(782年)に安人も改姓を願い出て、本拠地の地名に因み、併せて兄弟6人が秋篠宿禰姓を賜与された。改姓理由として、土師氏は埴輪を発明した野見宿禰の子孫として、専ら凶儀である葬送儀礼に携わってきたが、この状態は不本意であることを挙げている。延暦9年(790年)には朝臣姓を賜与されている。
　延暦16年(797年)には、桓武天皇より編纂の命を受けた『続日本紀』を菅野真道らと共に完成させている。
　延暦24年(805年)に菅野真道に続いて参議に任ぜられ公卿に列し、右大弁･近衛少将を兼ねる。翌延暦25年(806年)平城天皇が即位すると左大弁･左衛士督に昇進し、春宮大夫(春宮は神野親王のち嵯峨天皇)も兼ねるが、翌大同2年(807年)伊予親王の変に関与したとして、造西寺長官に左遷の上、他の官職を全て罷免され失脚する。しかし、大同3年(808年)右大弁に復すと、翌年には左大弁に任ぜられている。
　嵯峨朝に入ると、大同5年(810年)に発生した薬子の変後に復権、参議に還任されて、左大弁･左兵衛督を兼任する。弘仁6年(815年)には従三位に叙せられた。またこの間、嵯峨天皇の命により編纂された『弘仁格式』も手掛けている。弘仁12年(821年)正月10日薨去。享年70。

　氏姓は土師連、のち土師娑婆連。土師磐村の子。冠位は大仁。推古天皇11年(603年)に征新羅大将軍であった来目皇子の葬儀を周防国で行っている。周防国佐波に来目皇子の殯宮を造ったことから、娑婆連姓を名乗るようになった。
　皇極天皇2年(643年)、皇極天皇の生母である吉備嶋皇祖母命(吉備姫王)が薨去し、天皇の詔によって吉備姫王の葬儀執行を担当する。しかしその年の11月1日(12月20日)、上宮王家襲撃事件では、巨勢徳多に従い100名の兵で斑鳩宮を攻めるが、奴三成に討たれ戦死した。