通称は四郎兵衛。祐乗は剃髪入道してからの法号であるらしく、一説に祐乗法印と称したという。美濃国の出身。後藤家の所伝によると、初め将軍･足利義政側近の軍士として仕えていたが、18歳の時に同僚からの讒言を受けたために入獄し、獄士に請うて小刀と桃の木を得て神輿船14艘･猿63匹を刻んで見せたところ、その出来栄えに感嘆した義政によって赦免され、装剣金工を業とするように命じられたと伝えられる。また、足利家から近江国坂本に領地300町を与えられた他、後花園天皇から従五位下･右衛門尉に叙任されたという。永正9年(1512年)5月7日に73歳で病没し、上品蓮台寺に葬られた。
　現存する祐乗の作品には自署在銘のものはなく、無銘または後代の極め銘のものばかりであるが、小柄，笄，目貫の三所物が主で、良質な金･赤銅の地金に龍･獅子などの文様を絵師･狩野元信の下絵によって魚々子地に高肉彫で表したものが多い。祐乗の彫刻は刀装具という一定の規格のなかで、細緻な文様を施し装飾効果をあげるというもので、以後17代にわたる大判座および分銅座の後藤家だけでなく、江戸時代における金工にも大きな影響を与えた。代々｢乗｣を通字として用いた。　

　父･長乗が元和2年(1616年)に死去すると、覚乗は後藤勘兵衛家を相続、主に鍔，目貫，笄，小柄などの刀装具を制作した。 寛永年間より、工芸を奨励した加賀金沢藩主･前田利常に招かれ、現米150石をもって仕え、前田家の装剣用具の製作ほか金沢藩風聞報告役、また金銀財政面の用達を行った。従兄の後藤顕乗(理兵衛家、下後藤家)と交替で隔年に金沢に滞在して京都と金沢を往復し、｢加賀後藤｣とよばれる流派の基礎を築いた。利常は覚乗の彫金技術の高さを認め、いつも敬意を払っていたという。 覚乗は大力の持ち主で相撲を好み、弓馬･兵法･砲術の達人であった。日蓮宗を信仰し、妙覚寺の日奥聖人に帰依した。また、俳諧･茶の湯にも優れた。前田利常の命で、小堀遠州に設計を依頼し、父･長乗が造営した庭園を補作したほか、上段を設けた書院や｢十三窓席｣といわれた13の窓を持つ小間茶室｢擁翠亭｣を作った。 明暦2年(1656年)閏4月22日に68歳で病没し、蓮台寺石蔵坊に葬られた。
　なお、覚乗の甥に狩野探幽の養子で江戸幕府の御用絵師となった狩野益信(洞雲)がいる。

　御金改役には京都の後藤四郎兵衛家から吉五郎光弘が迎えられ、これが最後の御金改役となった。安政2年10月2日(1855年11月11日)に起こった安政江戸地震後は金座に持ち込まれた焼流金銀の買収業務に不正があったとして手代の長岡兵馬らが処分されている。
　慶応4年4月17日(1868年5月9日)、金座および銀座は明治新政府に接収され、太政官に設けられた貨幣司の下、吉五郎光弘は二分判などの貨幣の製造を取り仕切ったが、明治2年2月5日(1869年3月17日)には貨幣司も廃止されて金銀座関係者は解任され、明治5年4月(1872年)吉五郎光弘は大蔵省より本町の後藤屋敷からの退去を命じられた。

　文禄2年(1593年)、橋本庄三郎は徳川家康と接見し、文禄4年(1595年)には彫金師の後藤徳乗の名代として江戸に下向した。出身は美濃国加納城主･長井藤左衛門利氏の末裔ともされるが、疑問視されている。庄三郎の本姓は山崎との説もある。庄三郎が京都の後藤家の職人として従事しているうちに徳乗に才覚を認められ、代理人に抜擢されたとされる。庄三郎は徳乗と家康に後藤庄三郎光次の名、五三桐紋の使用を許された。京都の後藤家は室町幕府以来の御用金匠であり、茶屋四郎次郎家，角倉了以家と共に京都の三長者と呼ばれた。
　当時、判金といえば大判のことであったが、家康は貨幣としての流通を前提とした一両小判の鋳造の構想があった。｢武蔵壹兩光次(花押)｣と墨書され、桐紋極印の打たれた武蔵墨書小判が現存し、これが庄三郎が江戸に下向した当時鋳造された関八州通用の領国貨幣であるとされている。
　後藤庄三郎光次は文禄4年に江戸本町一丁目を拝領し、後藤屋敷を建て、屋敷内に小判の験極印を打つ後藤役所を設けた。この地は現在、日本橋本石町の日本銀行本店所在地にあたる。また慶長6年(1601年)には京都、慶長12年(1607年)には駿府、また元和7年(1621年)には佐渡に後藤役所出張所を設けて、極印打ちを開始した。さらに天領の金山，銀山を支配し、家康の財政，貿易などの顧問として権力を誇った。しかし2代庄三郎広世以降は金座支配のみにとどまった。また、庄三郎光次は文禄5年3月2日(1596年3月30日)付の後藤徳乗，後藤四郎兵衛，後藤長乗に提出した証文において、後藤の姓を名乗るのは光次自身一代限りと宣誓していたが、結果的に反故にされ、徳川家の権威を背景に京都の後藤宗家も黙認したとされる。
　天領の金山から産出する公儀の吹金を預り、小判に鋳造する場合の手数料である分一金は、慶長期初期は吹高10両につき金目五分であったが、後に後藤手代の取り分は吹高1000両につき10両と定められた。
　なお、金座の名称は直吹となった元禄改鋳以降に称されるようになったという説もあるが、延宝2年4月(1674年)の幕府の触書にも金座の名称が登場している。しかし京都では明暦，寛文のころ小判座と称していた。小判，一分判，二分判，二朱判，一朱判および五両判のような金貨には何れも｢光次(花押)｣の極印が打たれている。　

　文化13年(1816年)、信濃国飯田城下大横町の飯田藩御用商人である林弥七言政4男の奥輔が方至の婿養子となり三右衛門家を継ぎ、金座御金改役となった。その際、奥輔から光亨に改名している。光亨は文化5年(1808年)から3年間上洛し、猪飼敬所に漢学，経学を学んだ。
　文政2年(1819年)に貨幣改鋳を実施し、文政小判の鋳造を開始した。老中の水野忠邦が台頭すると鳥居耀蔵や渋川敬直と共に｢水野の三羽烏｣と呼ばれ、経済面でのブレーンとなり、天保通宝を鋳造を建策し、天保6年(1835年)閏9月より鋳造が開始された。寛永通宝一文銭のおよそ8枚分の重量にして百文銭とする天保通宝は高く評価され、短期間で大量に鋳造され、後藤家に多くの収益をもたらした。天保8年(1837年)、再び改鋳を実施し、天保小判･天保五両判の鋳造を開始した。これらの改鋳によって、幕府には多大な改鋳利益がもたらされた。
　天保13年(1842年)、物価高の原因は天保二朱金や天保小判のような悪貨発行の連発にあるとする上申書を忠邦に提出した。物価の高騰はもとより忠邦による天保の改革の趣旨に反することからこの上申が容れられ天保小判の鋳造は一時中断するが、天保14年(1843年)9月の老中首座であった忠邦の失脚により天保15年(1844年)9月から鋳造が再開された。
　弘化元年(1844年)5月、江戸城本丸が火災により焼失した。老中首座の土井利位はその再建費用を集められなかったことから徳川家慶の不興を買ったため、忠邦は半年後の6月21日に老中首座に復帰し、失脚の際に自身を裏切った勘定奉行兼南町奉行･鳥居耀蔵の追放に動く。この際に三右衛門は同じく忠邦の周囲にいた渋川敬直と共に、鳥居を裏切って讒言した。鳥居は同年9月に職務怠慢及び不正を理由に解任された。しかし、忠邦の老中再登用は老中の土井利位や阿部正弘らの反発を招き、弘化2年(1845年)、阿部により三右衛門から忠邦への16万両の贈収賄が暴かれた。老中首座に返り咲いたが、忠邦は同年2月に老中を辞職。同年9月、忠邦は領地より2万石を減封されて5万石となり、強制隠居･謹慎が命じられた。家督は長男の忠精に継ぐことを許されたが同年11月30日に出羽国山形藩に懲罰的転封を命じられた。
　同じく10月3日、鳥居は讃岐丸亀藩主･京極高朗にお預け、同日に渋川も豊後臼杵藩主･稲葉観通にお預けとなり、三右衛門は同日に斬首、三右衛門家は断絶となった。墓所は東京都江東区三好の雲光院。
　この事件の発覚により天保通宝の鋳造は一時中断されるが、弘化4年(1847年)から再び鋳造が再開された。