延喜13年(913年)22歳で文章生となる。延暦18年12月(919年1月)対策に及第し、明けて延暦19年(919年)正月に少内記に任ぜられ六位蔵人も兼ねる。のち醍醐朝では、刑部少輔,大学頭,侍従,式部権少輔,五位蔵人を歴任した。
　延長8年(930年)朱雀天皇の即位後まもなく従五位上･式部少輔に叙任され、以後、朱雀朝において弁官を務めながら順調に昇進し、天慶4年(941年)参議兼右大弁に任ぜられ50歳にして公卿に列した。また、議政官として左右大弁に式部大輔を兼帯している。
　天暦元年(947年)先任の参議4人(源兼明,藤原忠文,伴保平,源庶明)を越えて、従三位･権中納言に任ぜられると、天暦2年(948年)中納言、天暦9年(955年)正三位と村上朝でも昇進を重ねる。天暦7年(953年)に大納言･藤原元方が薨去すると中納言以上では在衡が最高齢となったが、天徳4年(960年)10歳以上年下の右大臣･藤原師輔の薨去に伴って大納言に昇進し、安和2年(969年)には安和の変によって失脚した左大臣･源高明の後を受けて右大臣に任ぜられ、78歳にして遂に大臣の官職に至った。同年の20歳以上年下の左大臣･藤原師尹の薨去に伴い、翌天禄元年(970年)には左大臣に任ぜられるが、同年10月10日に致仕･出家し同日薨去。享年79。同月20日に出家人ながら従一位の位階を贈位された。
　僧侶の子息で五位の諸大夫の養子という、その出自に比して異例の出世を遂げたこともあり、数々の説話に彩られた人物である。若年時に鞍馬寺において天童から大臣への昇進と長命の予言を受けたという話や、天皇の下問には周到な準備をもって的確に答え、しかも風雨を厭わず参勤した話などが、『古事談』に収められている。尚歯会の際に詠まれた漢詩が『粟田左府尚歯会詩』に残されている。

　安和元年12月(969年1月)文章得業生となり、安和2年(969年)播磨権少掾に任ぜられる。天禄2年(971年)課試。
　天禄3年(972年)兵部少丞に任ぜられ、天延2年(974年)に大丞に遷る。同年従五位下･相模権守に叙任。兵部少輔を経て、永観2年(984年)東宮学士として懐仁親王(後の一条天皇)に仕える。寛和2年(986年)、懐仁親王が一条天皇として即位すると、今度は居貞親王(後の三条天皇)の東宮学士を務める。同年従四位下･大学頭に叙任。権左中弁,紀伊権守を歴任。正暦4年(993年)従四位上、続けて正四位下に陞叙される。正暦5年(994年)左中弁に任ぜられる。長徳2年(996年)弁官の功績により参議に任ぜられ右大弁に昇る。長徳3年(997年)播磨守に任ぜられる。左大弁に進み、長保3年(1001年)従三位･勘解由長官に叙任される。長保4年(1002年)備中守に任ぜられるが、病により長官を辞任する。回復したようで翌年には正三位に昇り、寛弘2年(1005年)藤原有国,藤原懐忠,.菅原輔正を超えて権中納言に任ぜられる。寛弘5年(1008年)兵部卿を兼任。長和2年(1013年)6月4日申刻に薨去。享年70。村上天皇より、冷泉･円融･花山･一條･三条天皇までの六朝に亘って仕えた。
　常に空を見上げていたことから世の人より｢仰ぎ中納言｣と呼ばれた。右中弁のときに藤原済時が戯れて今天に何かあるのかと訊ねたため、大将を犯す星が現れていると冗談で答えたところ、済時は幾程経たずして亡くなったという。