室町時代に信濃守護小笠原氏の子孫である坂西由政が築いたのが始まりとされる(政忠の時代とも)。もとはこの地は山伏(修験者)の修行場であったため、飯坂(愛宕)城の土地と交換したといわれている(本丸の奥に山伏丸がある)。天竜川の支流の松川と野底川に挟まれた河岸段丘の先端部分を利用して平山城である。縄張りは、城郭の東部に本丸を置き、断崖に面して西部に向かって二の丸,桜丸,出丸と曲輪を配していた。建造物としては、東西南北100mの規模で土塀に囲まれた本丸御殿を中心に、7棟の建物が建てられていた。
　1554(天文23)年、武田信玄が下伊那に侵入し、三河国侵攻のため高遠城,大島城とともに飯田城を下伊那の拠点として整備した。以後30年間武田氏の領となる。当時は小さかった規模も武田氏式築城様式を取り入れながら拡張していったと考えられる。武田氏侵攻の直後も坂西氏が飯田城主であり、後に武田家重臣の秋山虎繁が城代として入城した。
　1573(元亀4)年、秋山虎繁が美濃の岩村城へ移ると、飯田城には坂西長忠の弟の織部亮が入城した。そして、武田氏が1575(天正3)年の長篠の戦いで織田徳川軍に大敗すると、坂西氏は武田氏から離反したために多くの人物が処刑されている。
　1582(天正10)年3月の織田軍の伊那侵攻では、信長は飯田城に入り武田勝頼父子の首級を飯田城下に晒している。甲斐信濃を平定した信長は、伊那郡を織田家臣の毛利長秀に与えた。同年6月の本能寺の変で信長が自害すると、徳川家康の支援を得た下条頼安が飯田城を掌握したが、後に、郡代となり知久平城を築いた徳川家臣の菅沼定利が、1586(天正14)年の終わりから翌年初めにかけて飯田城へ移り、下伊那支配の拠点として整備した。
　1590(天正18)年、徳川家康が関東へ国替えとなると、飯田城へは豊臣家臣となった毛利秀頼が再び入城。秀頼は三ノ丸とその西に追手門を設け、本町などの城下町を建設した。秀頼死後、娘婿の京極高知が跡を継ぎ、この頃には近世城郭としての姿が整えられ、さらなる城下町建設も進められた。
　江戸時代に入ると、小笠原秀政,脇坂安元とその養子安政の２代、そして、1672(寛文12)年には堀親昌が入封し、その後、明治の廃藩置県まで12代にわたって堀氏藩主時代が続く。
　明治維新後は、堀氏が佐幕派であったため、飯田城は徹底的に破壊され、建物は解体、石垣は崩され堀も埋められて、筑摩県の飯田支庁が置かれた。本丸跡にはに長姫神社[1880(明治13)年創建],柳田國男館,日夏耿之介記念館が建ち並び、二の丸跡には飯田市美術博物館、桜丸跡には長野県飯田合同庁舎が建てられている。また、移築遺構としては、赤門と親しまれている｢桜丸御門｣が城内に、桜丸の｢薬医門｣が経蔵寺に、｢脇坂門｣が馬場町3丁目地内に、そして安土桃山時代の建築とされる「八間門」が飯田市松尾久井の民家に移築されて現存する。