山家三方衆とは、三河国の山間部(奥三河)に割拠した土豪勢力である作手城の奥平氏,長篠城の菅沼氏,田峰城の菅沼氏を指す。屋敷跡推定地は、現在の浜松市三組町の秋葉神社の辺りとされている。
　当初は徳川家康に従っていたが、1570(元亀元)年12月に武田武将の秋山虎繁が東美濃の岩村遠山氏の領地を通過して奥三河へ侵攻した際に勃発した上村合戦において奥平定能(作手城),奥平信光(名倉城),奥平信昌(菱鹿野城),菅沼定忠(田峰城),菅沼正貞(長篠城)らは徳川方として出陣したものの遠山氏が惨敗する様子を見て、殆ど戦わずして早く退却して城に逃げ入った。この時には既に武田氏とも内通していたとも言われている。
　1571(元亀2)年以降は、逆に奥平,田峰菅沼,長篠菅沼の3家が揃って家康から離反し、武田軍として三河・遠江を転戦した。1573(元亀4)年の野田城の戦いでも籠城中の菅沼定盈に翻意を促し、開城降伏に導いたともいわれている。
　しかし、同年夏には菅沼正貞の長篠城が家康の反撃に晒されると、これを機に3家の関係は次第に揺ぎ始め、8月(改元されて天正元年)には、奥平貞能が武田離反し徳川に再属する。
　さらに、1575(天正3)年5月の長篠の戦いにおいて、3家の運命は大きく分かれていく。奥平氏,菅沼氏のなかでも徳川方と武田方に分かれ、敗北した武田方は三河を追われた。宗家の奥平貞能が徳川方についた奥平氏は織田信長,徳川家康から厚遇され、江戸期には三河譜代の大名として存続したのに対して、長篠,田峰菅沼両家はともに武田方として追われて庶流の野田菅沼氏以外は衰退していった。