天文8年(1539年)、美濃国多芸郡の国人･横山時隆の子として誕生。多芸郡直江郷の杉弥左衛門の婿養子となる。
清水城主･稲葉良通(通朝)に仕えるも同僚と争い、相手を殺害して越前国に逃れる。大野城主･金森長近に仕えた後、金森家を退き、越前府中で閑居して半喜と号す。天正10年(1582年)、前田利長に出仕し旗奉行となる。    
　天正11年(1583年)賤ヶ岳の戦いに出陣し殿軍を務めて戦死した。享年45。

　丹波国円通寺で修練に励み、後に父･長隆と共に前田利長に仕える。この頃の利長は父･利家とは別に独自の家臣団を編成し、横山父子はその一員であった。
　天正11年(1583年)、長隆が賤ヶ岳の戦いで戦死すると、利長から200石を拝領して家督を引き継ぐ。利長が利家の没後に家督を継ぐとこれに随従して金沢城に入り、加賀藩の重臣に加えられる。その後、利長が徳川家康から謀叛の嫌疑をかけられた際には大坂城に赴き、家康に陳弁している。だが、利家以来の加賀藩の重臣は徳川家への臣従への拒否感があり、また陪臣であった横山が重臣の列に加わることにも反発した。慶長7年(1602年)には利長の命を帯び、前田家の古参家臣で家中における反徳川派の中心人物であった大聖寺城主･太田長知を殺害している。以降も利長の一番の腹心と言える存在であり、利長が家督を異母弟の利常に譲って隠居した後も奥村永福,篠原一孝と共に筆頭家老の任にあったが、重臣たちの横山への反感は以降も続き、慶長16年(1611年)に利長が重病になり一時は死を覚悟して書いた遺言には、横山が他の重臣と不仲であることを憂慮する文言が記されている。
　ところが、慶長19年(1614年)2月に利長が奥村栄頼(永福の三男)の讒言を信じて、近づく徳川家と豊臣家の軍事衝突に対する対応を本多政重と協議した、と聞いて憤慨し、一族と共に剃髪致仕を申し入れると、利長や本多政重の説得にもかかわらず出奔してしまう。奥村は篠原一孝に対して、利長の命令であるとして横山を討ち取るように指示するが、利長が横山を誅殺することはあり得ないと考えた篠原は、むしろこれは奥村が自分を陥れる罠ではないかと疑って指示を拒絶した。
　大坂冬の陣最中の10月になって、横山は突如比叡山を降り、越前麻生津の陣にて大坂に出陣途中の前田利常と会見してそのまま帰参したものの、長年の主君であった利長は既に5月にはこの世を去っていた。翌年の夏の陣には参陣して、戦功により山城守に叙任された。また、本多政重と共に大坂城の修築工事も担当している。    
　正保2年(1645年)、嫡男の康玄に先立たれ、藩主前田光高から致仕を許される。翌3年(1646年)に康玄の後を追うように死去した。家督は孫の忠次が相続、子孫は代々加賀藩家老を輩出する家系として栄達した。次男の長次は人質として江戸に赴き、のち幕府に仕え5千石の旗本寄合となった。

　主君･前田利長の命で、神谷守孝の婿養子となり神谷式部と称す。慶長10年(1605年)、伯父･横山長秀の死去により、遺領9250石のうち5000石を相続し、再び横山氏を称す。慶長19年(1614年)、父･長知と共に前田家を退進するが、同年に大坂の陣が起こると父と共に復帰し、冬夏両陣に出陣して戦功を立てる。元和5年(1619年)、藩主･前田利常の命で、近習の十兵衛を上意討ちする。元和6年(1620年)、5000石の加増を受けて知行1万石となる。また、寛永6年(1629年)に舅の守孝が死去すると、遺領のうち400石を長治室が相続、3000石を長治の子の長昌が相続して神谷式部と称した。    
　寛永20年(1643年)6月23日死去。享年47。家督は嫡男の長昌が相続した。長昌は横山家に復帰し、神谷家の名跡は弟の隆正が相続した。