築城時期は鎌倉時代中期頃と推定される。美濃国恵那郡遠山荘の地頭であった遠山氏の分家飯羽間遠山氏が本拠地とした城で､明知城,苗木城,阿寺城,阿木城,千旦林城,串原城などの遠山十八子城の中の一つであるが、遠山氏の誰が築城したかは不明である。
　鎌倉幕府の重臣であった加藤景廉が幕府創設時の功績により源頼朝から与えられた荘園の中の一つが遠山荘である。加藤景廉の長男遠山景朝が、遠山氏の初代となり、以後、岩村城を拠点として遠山荘を治めたが、やがて子孫たちが遠山荘内に分かれ分家をなした。その一つが飯羽間遠山氏である。
　遠山氏の本拠地である岩村城に最も近く、防衛の最前線にある重要な城であった。飯羽間城は山の中にありながら平山城で、梯郭式と連郭式の混合縄張である。一の曲輪を最高所に、二の曲輪,三の曲輪,帯曲輪,出曲輪をもち、物見台等も多く配置していた。また、飯羽間城の北東約300mには出城の信城も存在した。
　1572(元亀3)年、武田信玄の命により、秋山虎繁(信友)の軍勢が美濃へ侵攻して岩村城の遠山氏を攻略した。織田信長は岩村城の周囲に多くの城砦を配置し、岩村城奪還の機会を窺った。1573(天正元)年に武田信玄が没すると、武田勝頼は東濃の形勢を有利にするため、1574(天正2)年、3万の軍勢を率いて美濃国に侵攻し、苗木城,串原城等の遠山十八子城を次々と陥落させた。最後に残った城は飯羽間城のみであったが、武田軍内で甲斐引き上げ論があったものの、結局、長坂光堅や跡部勝資の進言により攻撃を継続することに決まった。先鋒勢が飯羽間城の城戸を打ち破って突入し攻め落とした。『甲陽軍鑑』には、信長から派遣された14騎の武者と城兵350余人を残らず討ち取り、飯羽間城の城将を土蔵で生け捕りにしたと書かれている。飯羽間城はこの落城のあと、そのまま廃城となった。