天平宝字2年(758年)淳仁天皇が即位して、藤原仲麻呂の独裁体制が確立すると、仲麻呂政権の中核メンバーとして、同年従四位上、天平宝字3年(759年)正四位下(同年播磨守に任ぜられる)、天平宝字4年(760年)従三位と、急速に昇進を遂げる。 天平宝字6年(762年)正月に仲麻呂の子･真先と共に参議に任ぜられる。同年11月には仲麻呂が計画した新羅征伐のため、香椎廟奉幣使となった。
　天平宝字8年(764年)藤原仲麻呂の乱に加わったため、官軍により斬殺された。一説に天平宝字7年(763年)に死去したともされる。

　延暦15年(796年)、かねてから一堂を建て観音を祀りたいと祈願していたところ、霊夢の託宣により鞍馬山に導かれ、同地に毘沙門天像が祀られているのを発見。さらに再度の霊夢により、観音と毘沙門天の同一なることを告げられ、これに深く感銘を受けて同地に伽藍を建立した。これが現在の鞍馬寺の起源となったと伝わる。また同年、桓武天皇により造東寺長官に任命され、東寺を建立したともされている。
　延暦15年(796年)阿波守、延暦22年(803年)従五位下に叙せられる。大同元年(806年)安芸守、大同4年(809年)斎宮頭、弘仁2年(811年)右中弁を歴任。
　天長4年(827年)死去、享年69。
　性格は几帳面で政務に熟練していた。小作人のような洗練されていないところがあり、やや世情に疎かった。勤務に精励したが、極めて寛容さに欠け、同僚を困らせることがあったという。