九条民部卿を号す。天仁元年(1108年)に従五位下に叙せられると、出雲･三河･丹後･丹波の受領を歴任する一方、実務官僚としても活躍する。保安3年(1122年)、蔵人･左衛門権佐に加えて右少弁を兼ね三事兼帯となった。天承元年(1131年)に参議、さらに権中納言に昇進して大宰権帥を兼ねる。永治元年(1141年)、権中納言を辞任して民部卿となり、正二位に叙せられた。
　鳥羽上皇の腹心として｢内外権を執り、際会人に超ゆ｣と評され、議政官を辞してからも重要な議事に参与する。久安3年(1147年)の平忠盛･清盛親子の配流を要求した延暦寺の強訴(祇園闘乱事件)においては、延暦寺に同調する藤原頼長の意見を抑えて忠盛･清盛の擁護を進言した。一方で、後に娘の一人が頼長の子･師長の妻となるなど摂関家との関係も良好であり、院と摂関家の対立を調整する役割も果たした。久安4年(1148年)に55歳で死去。その後、信西が鳥羽法皇の側近として急速に台頭して摂関家と院近臣の対立も激しくなり、保元の乱につながっていく。

　久寿3年(1156年)参議、保元3年(1158年)権中納言、永暦元年(1160年)権大納言。能吏としての評価が高く、何事にも公正をもって対処し、朝野の人望も厚かった。『愚管抄』においては、｢末代ニヌケデテ人ニホメラレシ｣人物として高く評価されている。
　『平治物語』によれば、平治元年(1159年)に勃発した平治の乱に際しては、甥に当たる藤原信頼に与同して軍事行動を起こした弟の惟方を叱責し、その離反の遠因を作ったとされる。同書の｢光頼卿参内の事｣の段には、得意絶頂の信頼に対して一歩も臆することなく堂々と正論を述べる光頼と、その態度に面目を失う信頼の姿とが、対照的な筆致で描き出されている。
　晩年は出家して桂の里に退隠した。
　和歌にも優れ、家集として『桂大納言集』を残す。また、『新勅撰和歌集』以下の勅撰和歌集に8首が採録されている。

　粟田口別当とも。永治元年(1141年)、皇后宮権大進として美福門院に仕え、同年に美福門院の分国である越前国の国司(越前守)に任ぜられたのを皮切りに、丹波守，遠江守と国司を歴任する。
　久寿2年(1155年)、美福門院の養子で、惟方の乳兄弟にあたる守仁親王(のち二条天皇】の立太子に伴って春宮大進に任ぜられると、その後は順調に昇進し、翌保元元年(1156年)には後白河天皇の五位蔵人に任ぜられ、左衛門権佐，権右中弁を兼ね、三事兼帯の栄誉に浴する。さらに、保元3年(1158年)には蔵人頭、次いで二条天皇の即位に伴い参議に任ぜられる。二条天皇即位後は大炊御門経宗らと共に天皇親政派を組織し、後白河上皇院政派の中心人物である信西と対立、その一方で院政派ながら同様に信西と反目していた甥(姉妹の子)の藤原信頼と接近する。
　これらの経緯により、平治元年(1159年)の平治の乱においては、当初は藤原信頼や源義朝らと共に内裏を占拠、信西を殺害して気勢を上げる。だが、信頼の器量に不信感を抱く兄･光頼の戒めもあって、程なくして信頼からの離反を決意。経宗や妻の兄弟･藤原尹明らと共謀し、信頼によって内裏に監禁されていた二条天皇を女装させた上で平清盛の六波羅邸まで付き添って脱出させ、戦局の行方を決定的なものにした。
　平治の乱における功績や、院政派の実力者･信西の死去により、乱後、天皇親政派は一時的に権勢を得るが、かねてより対立関係にあった後白河上皇によって次第に政治生命を狙われることとなる。惟方は大炊御門経宗と共に、天皇親政を実現するための方策として、永暦元年(1160年)には、上皇が好んで市井の様子を眺めていた、御在所である藤原顕長邸の桟敷を強引に封鎖したことから、上皇は激怒し、上皇の命を受けた平清盛に遣わされた郎党忠景，源為長によって2月20日に経宗と共に逮捕される。上皇は二人を面前に引き据えて拷問した上、惟方を長門国、経宗を阿波国にそれぞれ流罪とした。惟方は3月11日配流される日に出家し、法名を寂信と称している。
　6年後の仁安元年(1166年)3月29日に赦免、召還されたが、二度と中央政界に返り咲くことはなかった。晩年は和歌の道に安らぎを見出し、穏やかに過ごしたとされている。歌集に『粟田口別当入道集』がある。
　平治の乱後に配流となった人々が、次第に都に召還されていく中で、惟方はいつ赦されるかわからないまま過ごしていたが、配所から都に対して女房へことづけて｢この瀬にも沈むと聞けば涙川 流れしよりもぬるる袖かな｣という歌を詠んだ。この歌を聞いた後白河法皇は哀れんで、惟方を赦免し都に召還したという。