足利氏3代当主･義氏が三河国の守護になると、兄の仁木実国らと三河額田郡細川郷に住み、細川次郎と名乗った。彼の子孫が室町幕府の三管領の一で、江戸時代に熊本藩の祖となった細川氏であるが、当時は三河の御家人の一人にすぎなかった。
　子には系図上義俊他数名が確認されるが、実子は義俊のみでその他は孫である義俊の子たちや、曾孫の頼貞などを養子として迎えたとされている。義俊の子である孫の俊氏(頼貞の父)が義季の後継となった。

　父･義季が孫(義俊の子)である俊氏ら兄弟を養子にしていることから、義俊自身は早世したものと推測されている。鎌倉時代の細川氏は三河国の零細御家人の一人であったことから、歴代当主の動静はほとんど判明していない。
　細川氏の有力庶家であり、土佐国の守護代などを務めた細川遠州家や十市細川家は、義俊の子の宗義の子孫の系統とされている。
　戦国時代の武将･池頼和は十市細川家の血を引く人物である。

　正確な出生年はわかっていないが、諱から元服時に室町幕府7代将軍･足利義勝の偏諱を受けたことがわかる。
　応仁元年(1467年)12月7日、父･持益の死去に伴い、祖父･細川満益の代より世襲してきた土佐守護代を継承、同国守護であり在京中の細川京兆家(細川本家)当主･細川勝元の代官として現地入りする。しかし、同年に応仁の乱が勃発すると、勝元が大将を務める東軍への加勢のため上洛して参戦する。このため、土佐に不在の間に在地領主の台頭が目立つようになる。
　戦乱の最中にあった文明3年(1471年)、上洛してきた下総国出身の僧･日祝に対し、広い寺地(40町ほど)を寄進。2年後にはこの地に頂妙寺が開山し、明応4年(1495年)、勝益の更なる土地寄進により寺域が拡大。
　戦乱が治まってからは土佐に戻り、文亀元年(1501年)には土佐田村荘(居城である田村城の南西)に曾祖父･細川頼益追善のための桂昌寺を建立して、土佐守護代･細川氏の権威を保とうと試みた。翌文亀2年(1502年)6月4日に死去。

　従兄弟の和氏と共に元弘の乱頃から足利尊氏に仕えて討幕運動で活躍した。1336年、尊氏の命で和氏と共に四国に渡海し、四国における諸大名や国人衆の統率に功を挙げた。その功績により、讃岐国や河内国、そして和泉国の守護と侍所の頭人に任じられ、嫡流の和氏の死後はその弟の頼春と共に細川一門を主導した。その後も尊氏に従って畿内における南朝方の勢力と戦い、多くの武功を挙げた。1350年からの観応の擾乱では同族の頼春が尊氏に味方する一方で、足利直義側に与して尊氏と敵対するが、やがて再び帰順するなど、両陣営を巧みに渡り歩くしたたかさを見せた。このとき、引付頭人に任じられた。
　1352年2月、南朝方の攻勢にさらされ京が失陥した際には足利義詮を守って撤退するが、その後同年4月には北朝軍の主将として南朝方勢力と戦い勝利を収めた。しかし、同年7月5日に病死。
顕氏の系統は、顕氏の官位｢陸奥守｣からその後｢奥州家｣とよばれるようになった。

　父と共に足利尊氏に仕えて南朝勢力と戦い、武功を挙げた。文和元年･正平7年(1352年)には父と共に和泉に遠征して南朝勢力を打ち破るという武功を挙げたが(男山合戦)、その直後に父が病死したため、家督を継いで讃岐･土佐守護となった。
　文和4年･正平10年(1355年)からは土佐において南朝勢力と戦っている。また、これらの間に挙げた武功を賞されて足利尊氏より摂津の守護職も与えられた。その直後の動向に関しては不明な点が多い。ただ、太平記の記述に従うのであれば、延文4年･正平14年(1359年)に繁氏は讃岐で兵力を蓄えて大規模な遠征を計画したが、軍資金を得るために崇徳院陵を横領したため、6月に急病にかかって急死したとされている。このときの死は呪詛によるものであると太平記には記されている。
　繁氏の死後、その重要な領国であった讃岐国は同族細川頼之の支配することになり、顕氏系細川氏は本家から独立した守護大名としての力を失った。