築城年代は定かではないが、南北朝時代から安土桃山時代まで約230年間十河氏の居城であった。春日川上流より南側の丘陵上に築城され、西に池、東は断崖、南に大手があったとされるが、大正初期の整地で城の遺構の大半が失われている。現在の称念寺が主郭跡とされ、称念寺から北に一段低くなった地形があり、これが北の堀跡で土橋が道路になっている。
　代々の城主であった十河氏は、植田氏の支族で讃岐国山田郡を支配していた。8代目の十河景滋に嫡子がおらず、三好長慶の末弟の十河一存を養子に迎え入れる。一存は｢鬼十河｣と恐れられ、讃岐一円を制したが、1561(永禄4)年に急死。養子に入っていた十河存保も三好長慶の死後、弱体化する三好氏のなかで、東からの織田信長勢力に対抗したが最終的には信長に降った。さらに、西からは長宗我部元親が侵攻し、阿波国勝瑞城にいた存保は虎丸城へと退き、十河城を守っていた三好隼人佐もよく戦ったが最後は開城し備前へ逃れた。
　羽柴秀吉による四国征伐の後、仙石秀久が讃岐へ入り、存保は二万石を与えられ再び十河城主となったが、1587(天正14)年の九州征伐における戸次川合戦で討死し、十河城は廃城となった。