築城年代は定かではないが飯島氏によって築かれたとされ、戦国時代まで居城としていた。城は天竜川西岸の段丘にあり、南に子生沢川、北に相の沢川が流れた台地に築かれている。城域は広く、主郭部は西岸寺のある台地の南東端にあり、ここから東へ伸びた丘陵へと拡がり、東端は天竜川近くの城山まで続いている。主郭は北西背後の尾根を土塁と大堀切で遮断しており、土塁の上に案内板が設置されている。
　飯島氏の出自は不明であるが、南の片桐氏から派生したとする説が有力である。飯島氏は当初、他の伊那の諸侯と同様、小笠原氏に従って武田信玄に抵抗したが、1554(天文23)年、小笠原氏の鈴岡城が陥落すると武田氏の軍門に降った。飯島為政は片切氏,上穂氏,赤須氏,大嶋氏らとともに五人衆として五十騎の軍役を担った。1582(天正10)年、織田信長の軍勢が伊那へ侵攻すると、飯島重家と小太郎父子(あるいは兄弟)は大島城に籠もった。大島城が落城すると、高遠城へ入りここで討死したという。生き残った飯島氏は、徳川家康や小笠原氏を頼って落ち延びた。飯島城は同年廃城となっている。