『日本書紀』垂仁天皇25年2月8日条では、武渟川別(阿倍臣祖)・彦国葺(和珥臣祖)・大鹿島(中臣連祖)・十千根(物部連祖)らと共に｢大夫｣の1人に数えられており、天皇から神祇祭祀のことを命じられている。
　また同書景行天皇40年7月16日条によれば、日本武尊の東征に際して、吉備武彦と共に従者に任じられている。東征では、甲斐の酒折宮において日本武尊から靭部を賜ったという。
『日本三代実録』貞観3年(861年)11月11日条では、伴善男の奏言のうちで、大伴健日（武日）は景行天皇の時に倭武命に従って東国を平定し、その功で讃岐国を賜ったと見える。またその奏言では、子・健持(武以/武持)を始めとして子孫の名が記載されるが、その中で允恭天皇朝には倭胡連公が讃岐国造に任じられたとある。

　一般に流布している系図では大伴武以(武持,健持)の子とされるが、世代は合わない。子に談・御物がいたとする系図がある。佐伯連・佐伯宿禰の祖。
　允恭天皇から顕宗天皇まで5代の天皇に大連として仕えた。允恭天皇の代、妃の衣通郎姫のために藤原部を定める。雄略天皇2年、百済の池津媛を犯した石川楯を来目部に命じて処刑させる。同23年8月、天皇崩御に際して後事を託され、直後に起こった星川稚宮皇子の叛乱を東漢掬と共に鎮圧。清寧天皇2年には、諸国に天皇の御名代として白髪部舎人・膳夫・靱負を置いた。武烈天皇3年天皇の詔に従い、役丁を徴発して城の形を水派邑に築いた(ただし、これは金村の事績とすべき)。

　雄略朝の対新羅派遣軍の大将。雄略天皇9年(465年)3月、天皇の命を奉じて紀小弓,蘇我韓子,小鹿火宿禰ら他将と共に新羅を討った。新羅王・慈悲麻立干は数百騎の手勢で遁走、それを追撃し敵将を斬るも残兵は降伏せず、談は小弓と共に闘ったが、その夜に戦死した。また、その従者の津麻呂も談連が敵に殺されたと聞き「主人が死んだのに生きていても仕方がない」と再び敵中に飛び込み死んだという。
　『新撰姓氏録』左京神別中によれば、談は父(一説には兄)の室屋と共に衛門の左右を分衛したと記述され、また同じく右京神別上によれば佐伯日奉造は大伴氏(天忍日命の後裔氏族)と同祖で、談の後裔とされる。

　仁賢天皇11年(498年)仁賢天皇の崩御後に大臣･平群真鳥,鮪父子を征討し、武烈天皇を即位させて自らは大連の地位についた。武烈天皇8年(506年)武烈天皇の崩御により皇統は途絶えたが、応神天皇の玄孫とされる彦主人王の子を越前国から迎え継体天皇とし、以後、安閑,宣化,欽明の各天皇に仕えた。
　『日本書紀』によると継体天皇6年(512年)に高句麗によって国土の北半分を奪われた百済からの任那4県割譲要請を受けて、金村はこれを承認する代わりに五経博士を渡来させた。継体天皇21年(527年)に発生した磐井の乱では物部麁鹿火を将軍に任命して鎮圧させた。 ただし、金村は少なくとも継体天皇の即位の頃はまだ大連ではなかった可能性も指摘されている。
　欽明天皇の代に入ると欽明天皇と血縁関係を結んだ蘇我稲目が台頭、金村の権勢は衰え始める。さらに欽明天皇元年(540年)には新羅が任那地方を併合するという事件があり、物部尾輿などから外交政策の失敗を糾弾され失脚して隠居する。これ以後、大伴氏は衰退していった。晩年は大伴氏の館のあった摂津国住吉郡に住み、そこで死去。

　『日本書紀』によれば、宣化天皇2年(537年?)10月、新羅が任那を侵攻したため、朝鮮に派遣されて任那を鎮めて百済を救った。また同書によると、欽明天皇23年(562年?)8月、大将軍として兵数万を率いて高句麗を討伐、多数の珍宝を獲て帰還したという(一本には欽明天皇11年(550年?)とする)。
　これらとほぼ同様の伝えは『日本三代実録』貞観3年(861年)の記事にも見えており、狭手彦の献じた高句麗の囚が山城国の狛人の祖となったという。
　そのほか､『肥前国風土記』松浦郡条,『万葉集』巻5には、狭手彦と弟日姫子(松浦佐用姫)との悲話が載せられている。

　敏達天皇12年(583年)任那再興のために百済から招いた日羅が吉備児島屯倉に到着すると、糠手子は朝廷から遣わされて慰労を行う。また、阿斗桑市に居館を構えた日羅のもとに阿倍目・物部贄子と共に派遣されて国政について訪ねた。
　その後、日羅は同行していた百済人に殺害されてしまったため、敏達天皇は物部贄子と糠手子に対して、日羅を小郡の西の辺の丘の前に埋葬し、その妻子と水手らは石川(現在の大阪府南東部の石川流域一帯)居住させるよう詔した。ここで糠手子は一ヶ所にまとめて住まわせると変事が発生する恐れがある旨を建議する。そこで、妻子は石川百済村に、水手らは石川大伴村にそれぞれ置かれ、日羅を殺した徳爾らは捕らえられて百済阿田村に置かれることになった。

　崇峻天皇との間に蜂子皇子と錦代皇女の一男一女を儲ける。
　『日本書紀』には、小手子が天皇の寵愛が衰えたことを恨み、献上された猪を見て天皇が漏らした｢何の時かこの猪の頸を断るがごとく朕が嫌しと思うところの人を断らむ｣という独り言を蘇我馬子に密告したことが、崇峻天皇暗殺事件のきっかけとなったという記述がある。
　小手子には、現在の福島県川俣町に落ち延びて養蚕を伝えたという｢小手姫伝説｣がある。小手子の子、蜂子皇子は厩戸皇子の計らいで京を逃れ、山形県鶴岡市の出羽三山の開祖となったと伝えられるが、小手子も蜂子皇子を捜し求めて、実父と娘・錦代皇女とともに東北に落ち延びた。旅の途中に錦代皇女を亡くした小手子は、故郷の大和の風情に似た現在の福島県伊達郡川俣町や伊達市月舘地域にとどまり、桑を植え養蚕の技術を人々に広めたという。その後小手子は、蜂子皇子に会えないことを悲嘆して川俣町大清水地内にある清水に身を投げたと伝えられている。