築城年代は定かではないが、1401(応永8)年に天方郷から飯田郷に進出した山内対馬守道美が最初に飯田古城(現宗信寺境内)を築いたとされる。天方城は弟の山城守に譲った。飯田城は太田川の東岸にあり、太田川に面した丘陵の西端に築かれている。本丸跡に城址碑と案内板が建ち、西へ伸びた尾根には堀切や削平地があり、周囲は茶畑や竹藪となっているが高土塁などが残っている。
　飯田山内氏は道美の後、久通、大和守通泰と続いたとされる。室町時代には今川氏の被官となり、今川氏没落後は三河の徳川家康と甲斐の武田信玄によって争奪戦が繰り広げられるなか、1569(永禄12)年、徳川家康は榊原康政,大須賀康高らに飯田城を攻めさせ、山内通泰は討死して落城した。1572(元亀3)年には、武田信玄の軍勢によって攻め落とされ、約5年ののちに徳川氏が再び奪還したが、そのまま廃城となった。