天平宝字3年(759年)在唐中の遣唐大使・藤原清河を帰国させるための迎入唐使が派遣されるが、人上は録事としてこれに従い渡唐する。天平宝字8年(764年)に発生した藤原仲麻呂の乱では孝謙上皇側に加勢したらしく、乱後に外従五位下に昇叙されると共に、公姓から臣姓に改姓している。称徳朝では因幡掾・図書助を務め、この間の神護景雲2年(768年)内位の従五位下に叙せられた。
　光仁朝では図書助・勅旨員外少輔と京官を歴任し、宝亀9年(778年)には第16次遣唐使と共に来日した唐使に対する労問を左少弁・藤原鷹取と共に行っている。
　天応元年(781年)勅旨少輔に昇格したのち、翌天応2年(782年)武蔵介、延暦5年(786年)武蔵守と桓武朝初頭は武蔵国司を務め、この間の延暦3年(784年)には従五位上に叙せられると共に、建部朝臣から阿保朝臣に改姓を許されている。
　延暦9年(790年)大学頭として京官に復すと、延暦15年(796年)陰陽頭と桓武朝半ばは京官を務める一方、播磨守も兼帯した。延暦20年(801年)8月15日卒去。