鎌倉時代末期には、海野一党が会田郷を領地とした記録が存在するが、同時期に岩下氏が確立していたのか、岩下一族よりも先に会田郷に入った会田幸持流の一族との関連性があるのかは不明である。応永7年(1400年)に、信濃国人衆が小笠原長秀を放逐した大塔合戦を記す『大塔物語』によると、海野一族の寄騎として｢海野幸義、会田岩下、田沢、塔原…｣と記されており、室町時代には会田の地に岩下氏が入っていたようである。殿村の地に居館を構え、虚空蔵山城を要害とした。
　岩下氏系図では、岩下豊後守という人物が岩下一族の祖となっているが、豊後守がどの時代の人物かは不詳。室町期においては、岩下三河守らの名が見え、会田を根拠として虚空蔵山城を普請し、勢力を築いていった。享徳4年(1455年)には諏訪大社の御射山祭事を岩下三河守が頭役として頭役銭を納めている。会田氏菩提寺である広田寺は、永正年間(1504～21年)に岩下豊後守が開基したとされる。
　また、会田御厨に拠って、頭役として費用を納めていることから、筑摩国衆として有力な存在であったと思われる。唐鳥屋城(乱橋城)は岩下氏の所領であったともいい、また最盛期には犀川付近にまで勢力を進出させたといわれ、広い範囲を領有していたと考えられる。　

　天文年間(1532～55年)における武田氏侵攻では、虚空蔵山城は自落したとされ、岩下氏(会田氏?)の一部は越後国･武蔵国へと逃れ、その一党の子孫が徳川家旗本の会田氏という。
　一方、所領に残った岩下氏は武田信玄に仕えた。永禄10年(1567年)における生島足島神社への信玄諸将の起請文提出では、近隣の領主である塔原氏，古幡氏らと連盟で岩下駿河守幸実，幸広，長高が起請文を納めている。
　天正3年(1575年)の長篠･設楽原の戦いでは、武田信廉の相備として配備されている。天正10年(1582年)3月11日、甲州征伐により武田勝頼が滅びると、信濃は乱国状態となり(天正壬午の乱)、岩下一族は、北方より信濃に攻め入った上杉景勝の家臣として存続を図った。
　天正10年(1582年)7月、信濃に復帰した小笠原貞慶が勢力拡大のため筑摩郡北部に経略を開始すると、塔原氏ら筑摩郡国衆は次々と貞慶に降ったが、会田一党は上杉氏のもとで対抗を続けた。同年11月、遂には小笠原氏が岩下氏へ討伐戦を実施した。岩下氏はこれに対抗する姿勢を見せ、矢久砦を急造(改修?)した。当主の岩下廣政は若年当主であり、代わって家臣の堀内越前守が防戦の指揮を執り、庶流の召田氏らも連衡して小笠原軍に対抗。しかし、激戦の末、越前守が討死し、同月5日には砦は陥落。当主の廣政は、青木村へと敗走するが、十観山にて自害したという。これによって、会田一族は滅亡した。