紀伊国藤白の地で生まれ、治承・寿永の乱で活躍した熊野水軍・鈴木重家の後裔にあたる。
　元弘元年(1331年)、後醍醐天皇が鎌倉幕府倒幕の旗を挙げたとき、繁伴は鎌倉幕府14代執権の北条高時の命により熊野に来た護良親王と戦ったが、鎌倉幕府は倒れて窮地に陥り、建武3年、家臣ら30余名を率いて海路で伊豆国に下向し江梨村に潜伏した。その後、後醍醐天皇の建武の新政が崩壊すると、本拠の紀伊国藤白に戻った。
　しかし観応2年(1351年)、繁伴は足利尊氏と弟の足利直義が争った薩埵峠の戦いで直義派について敗れ、再び伊豆の江梨村に逃れて以降、この地に定住し江梨鈴木氏の初代となった。大瀬崎の先端部にある｢鈴木繁伴館｣は、繁伴が江梨村に来住した際に築いた初期の居館とされ、江梨の大瀬神社で祭祀にいそしんだとされる。繁伴の郎党には、四天王と称された渡邉氏,加藤氏,武氏,秋津氏という豪の者のほか、木島法印という山伏などがいた。
　繁伴は元々｢鈴木重伴｣と名乗っていたが、伊豆江梨に下ると｢繁｣の字を用いて繁伴と名乗った。繁伴の伊豆下向後の藤白鈴木氏当主は弟の鈴木重恒が継いだ。
　繁伴はその後鎌倉公方の足利基氏に帰属し、関東管領の上杉憲顕から江梨村の領有権を認められた。貞治6年(1367年)には足利氏満に招かれて、伊豆国,相模国の船大将を命じられ、東国における室町幕府水軍の総大将となった。繁伴は後に足利氏満から鎌倉に呼ばれ、配下の木島氏と追儺の式を行った。また、鎌倉公方に招かれて伊豆江梨村に下ったのは繁伴の子・鈴木重行とも云われている。　

　伊豆国江梨村の江梨城(鈴木氏館)を本拠に江梨五ヶ村を支配した。
　明応2年(1493年)、内紛が波及した伊豆国内の混乱に乗じて、伊勢盛時(北条早雲)が伊豆国に討ち入り堀越御所を焼き滅ぼすと、鈴木繁宗は三津の松下氏や大見の三人衆らとともに堀越公方から離反していち早く馳せ参じ、足利茶々丸攻めに参加した。その後は後北条氏配下の伊豆水軍(北条水軍)を率いる武将のひとりとして、伊豆衆21家のひとつに数えられた。また、江梨鈴木文書に｢其郷(江梨)不入子細者、早雲寺殿様駿州石脇御座候時より申合｣とあり、早雲の伊豆討ち入り前後の忠節により江梨郷が不入の特権を得ている。
　『江梨航浦院開基鈴木氏歴世法名録』によると、明応7年(1498年)に発生した明応地震の際、江梨村にも津波が押し寄せて多くの庶人が海底に沈み、江梨鈴木氏の系図と財宝は家屋とともに流されたと記録されている。また、この津波で鈴木繁宗の娘が両眼を患ったため、航浦院の薬師如来に回復を祈ったところ完全に治癒したとされる。　

　伊豆国江梨村の江梨城(鈴木氏館)を本拠に江梨五ヶ村を支配し、伊豆水軍の武将として後北条氏に仕えた。
　北条氏政から度々駿河湾沿岸警備などについて司令を受けていた｢鈴木丹後守｣は繁定であるとされ、記録が江梨鈴木家文書に残っている。元亀4年(1573年)7月16日、北条氏政から、江梨ほか4ヶ村(立保,古宇,足保,久料)を支配する鈴木丹後守に、許可の無い便船の禁止、着岸した他国の船の改め、商売のため敵地に行く者の報告などを命じた文書が現存するほか、天正2年(1574年)7月10日にも、北条氏政から鈴木丹後守に対し、当時、駿河を支配し同盟関係にあった武田氏からの船手判を示し、今後は駿河船はこの印のある手形を持つことに加え、不審な船があれば取り押さえ報告するよう命じた朱印状が現存している。