享禄2年(1529年)、美濃国莚田郡伊良地村に生まれた。福田正之(綱衛の弟)の子であるが、浅井亮政に仕える伯父谷綱衛(谷野綱衛)の養子となった。
　衛好は、はじめ斎藤道三に仕え、龍興までの美濃斎藤氏が滅亡した後は、織田信長に仕えて、石山戦争では天正4年(1576年)5月に武功を挙げたことから信長より感状を受けた。信長の命令で羽柴秀吉が中国方面総司令官になるとその与力となり、天正6年(1578年)に播磨平田城6,000石の知行を与えられた。
　天正7年(1579年)からの秀吉による三木城攻めに参加し、三木城の糧道を断つため賀伏坂に付城して、息子の衛友と共に平田城(砦)を守備した。同年9月10日、生石治家を大将とする毛利勢が攻撃し、平田村で討ち死にした(平田･大村合戦)。享年50。家督は衛友が継ぎ、江戸時代に続く山家藩･谷家の祖となった。

　永禄6年(1563年)、谷衛好の3男として美濃国で生まれ、天正6年(1578年)、父と共に秀吉に仕えて采地200石を知行した。
　天正7年(1579年)、播磨征伐(中国攻め)の三木合戦における賀伏城周辺の戦いで、父･衛好が討死した。初陣であった17歳の衛友は、その場で父の仇(室小兵衛)を討ち取り、遺骸を奪い返すという武勲を立てた。信長は衛好の死を憐れみ、9月27日付書状で、衛友へ(衛好の)本領ならびに2箇所の新恩(領地)を与え、感状を授けた。この衛好の本領とは播磨国平田6,000石であり、衛友は若くして併せて6,200石を知行とするようになった。天正10年(1582年)頃、秀吉より丹波国何鹿郡山家村に移封されて、1万6,000石を領した。
　以後、秀吉の主なる合戦のほとんどに参加した。天正11年(1583年)正月の滝川一益征伐で伊勢･矢田山で土民を撃破し、同年4月の賤ヶ岳の戦いにも従軍した。天正12年(1584年には長久手の戦いに従軍。天正13年(1585年)、紀州征伐の千石堀城，積善寺城攻めでは首級を上げた。天正15年(1587年)、九州の役の筑紫陣では、豊前巌石城攻めにおいて、先に進んだ味方の草履を引っ張り倒すまでして一番乗りの功名をたて、城内に突入し、敵を遁走させた。戦後、秀吉によってその勇敢さを称賛された。
　天正16年(1588年)、従五位下･出羽守に叙任。天正18年(1590年)の小田原の役では、秀吉の本陣の前備衆の一人で、230人を率いて従軍し、伊豆山中城攻めで軍功があった。文禄元年(1592年)、文禄の役では朝鮮国都表出勢衆の一つとして450人を率いて朝鮮に渡海。戦功によって国光の刀を与えられている。文禄3年(1594年)、伏見城の普請を分担した。慶長3年(1598年)、秀吉の死に際して遺物釣切の脇差を受領している。
　慶長5年(1600年)、会津征伐に向かう徳川家康に供奉したいと本多正純を介して具申したが、領地にあって畿内の警備をするように指示されて同行を許されなかった。石田三成が決起すると、大坂京口の小橋を警護した。西軍では丹波･播磨の諸大名に、細川忠興の居城でその父･細川幽斎が籠もる丹後田辺城の攻撃を命じた。畿内勢の大半は西軍に与しており、衛友もこれに従わざる得ず、催促に応じて寄せ手に加わったが、密かに城中の細川方と内応し、攻撃では空砲を撃ったとされ、｢谷の空鉄砲｣という逸話として伝わっている。戦後、幽斎･忠興親子がこのことを家康に報告したので、早くから東軍に内応していたことが認められ、所領安堵された。
　慶長19年(1614年)と同20年(1615年)の大坂の陣に参加し、冬の陣では2代将軍･徳川秀忠に従って本陣旗本の酒井忠世の組に列した。夏の陣では、3男･衛勝と4男･衛政をつれて参陣し、5月7日の総攻撃の際には大和口より進んだ。大坂方が突撃して味方は崩れ、乱戦のなかで衛友も馬印を奪われるが、家臣･松田六左衛門が進み出て奪い返した。谷勢は踏み止まり、味方の反撃に乗って楼門より城内に突入。首級9を挙げた。翌8日、細川興元が陣所を訪れて武功を聞いたが、馬印を奪われたことを辱として衛友は頑なに答えず、武功を誇らなかったが、後日、将軍より黄金を賜り、衛友は秀忠の御伽衆とされた。
　寛永4年(1628年)12月に死去。享年65。