徳川斉昭の外曾祖父。公式には中御門宣顕の次男とされたが、実際には中御門宣誠の密子である。享保16年(1731年)に叙爵を受け、享保18年(1733年)10月に伯父の烏丸光栄の養子となる。享保19年(1734年)に元服して従五位上に任じられ、以降侍従や弁官，蔵人を歴任して、延享元年(1744年)に従四位上に叙されて蔵人頭･右大弁になる。同年12月に光胤に改名する。延享3年(1746年)10月に参議に任じられ、寛延元年(1748年)に正三位権中納言、宝暦6年(1756年)に従二位権大納言に進んだ。
　桃園天皇の近臣として、天皇の和歌や書道などの学習に携わる一方、自身は竹内式部に神道や儒学を学んでいた。しかし、竹内の学説を巡る朝廷内の対立から宝暦事件が発生し、宝暦8年(1758年)7月に止官･永蟄居の処分を受け、2年後の宝暦10年(1760年)5月に落飾を命じられて卜山と号した。なお、竹内式部門下を中心とする桃園天皇近臣と摂家の対立の結果、前者が宮廷クーデターを計画し、それを知った後者が桃園天皇に迫って処分を強要した、とする見方がある。
　安永7年(1778年)6月に永蟄居を命ぜられると、後桜町上皇に召されて歌道の御用を務めるが、2年後の安永9年(1780年)9月に病死した。法号は竜泉院宗亀卜山で、太秦の法雲院に葬られた。明治24年(1891年)に宝暦事件関係者に対する贈位によって従一位が贈られた。

　天保3年(1832年)、権大納言･烏丸光政の子として生まれる。慶応3年(1867年)12月、王政復古によって新設された参与の一人となる。慶応4年/明治元年(1868年)4月に参議となり、5月には東征大総督･有栖川宮熾仁親王とともに江戸に下向、軍政下で江戸府が開設されると、5月24日に江戸府知事となった。江戸には旧江戸幕府町奉行所を吸収した南北市政裁判所が置かれていたが、7月22日に南北市政裁判所を合併して東京府が設置される。烏丸光徳は8月20日付で初代東京府知事となった。東京府設置後も府の実態は市政裁判所の延長に過ぎず、京都から来た公卿は知事としての職務を遂行することが難かった。11月7日には東京府知事を辞任し京都に戻った。明治2年(1869年)には賞典禄50石を授けられ、華族制度の発足によって華族になっている。
　明治2年(1869年)9月に宮内大輔となったが、宮中改革の実行には力量不足と判断され、明治4年(1871年)6月に辞任。その後、皇后宮大夫を務めた。