景広は16世紀中頃に和田城を築城して江儀遠山荘支配したとみられる。天文22年(1553年)には甲斐の武田信玄に降った。以後は武田氏配下となり、永禄年間には遠州奥山氏を攻め、景広の子･景直が高根城(久頭合城)を落城させている(『遠江国風土記』による。ただし『熊谷家伝記』などでは当時景直は未出生)。奥山氏攻めは元亀3年(1572年)説もある。
　その後、景広は天正10年(1582年)の信長による甲州征伐に際し、高遠城(城主･仁科盛信)で篭城戦を戦った。しかし武田方は敗北し、景広も討死した。　　

　天正10年(1582年)6月、信長が京都本能寺で横死したことで、にわかに甲斐･信濃は混乱状態に陥る。徳川氏と小田原北条氏が甲斐･信濃に兵を入れ、南信濃は徳川家康の支配下に入った。この激変のなかで、景直は徳川氏の下に馳せ参じてその幕下に入った。天正13年(1585年)、上田城の真田昌幸征伐には下伊那の諸将とともに家康側として出陣し、諸処の合戦に活躍した。このとき、徳川軍は真田昌幸の奇策に翻弄され散々な敗北となったが、景直はその時の功が認められ、慶長初年(1596年頃)領地の安堵を得ている。すなわち、先祖伝来の遠山六ヶ村のほかに、箕輪，福島，赤穂，福与，部奈の地で併せて三千石を与えられた。
　江儀遠山氏は景直の代に過去最大の領土を得て、全盛期を迎えた。景直は領民にも慕われ、大坂の両陣にも出陣し枚方の水駅の守備にあたった。元和元年(1615年)9月、景直は居城の和田城において病死した。
　 また、景直が家康に謁見して家康から食事を賜った際、景直は茶碗を隠しながら食事し、食後は茶碗の上に箸を置いた。この作法について家康が尋ねると、景直は貧しい領国のため貴賎無く麦･粟を常食としており、貴人との食事時は恥じて隠しながら食するのが習慣になっていると答えた。家康はこれを聞き1000石を加増し、茶碗の上に箸を置いた構図から｢丸字に二つ引両｣を考案し、遠山家の家紋とするように命じたという。

　景直の後は嫡子の景重が継いだが、生来の病弱で元和3年(1617年)に病死したため、飯田藩の家臣･二木勘右衛門の次男･小平次が養子に迎えられて家督を継いだ。ところが、景重は遺書を残しておかなかったために、景重の弟･景盛と小平次との間に相続争いが起こった。両者の争いは公儀の裁決によって、小平次が800石、景盛が500石をそれぞれ相続するということに落ち着いた。
　しかし、景盛は納得せず、両者の争いは領民にまで及んだ。ここに至って、幕府は遠山家の領地をすべて没収･改易され天領として代官の千村平右衛門家の預地とした。景盛は寛永10年(1633年)に遠江国浦川で病死している。
　また、この改易を百姓一揆の結果だとする伝説が伝わっている。｢遠山騒動｣といい、厳しい年貢取立てなどの景直の圧政に対し、領民が幕府に直訴した結果取り潰されたという。そして信州遠山一族は直訴した領民に報復したため、逆に暴徒によって全滅したという。下栗の伝承では、悪政に窮した領民が、一揆によって、参勤交代帰りの遠山領主を大河原峠で襲って殺し、さらに和田城を襲って遠山家の家族･家臣を殺した、とされている。