1521(大永1)年頃、八ツ面城の荒川氏の家臣であった鷹部屋鉾之助の居城とされる。1529(享禄2)年、鉾之助は東条吉良氏に通じたことで、米津勝政を先陣とする松平清康に攻められ、荒川城へ逃れて荒川義広に降った。1536(天文5)年には富永氏の居城･牟呂城の出城として改修され、松平氏の武将･山田七蔵重宗が在城したが、彼もまた東条吉良氏と通じ追放された。
　1561(永禄4)年、荒川氏の子孫である伊奈忠基,忠家,忠次の居城となり安定期を迎える。1562(永禄5)年には西方寺を創建している。1575(天正3)年、伊奈忠次は徳川信康に仕え、1590(天正18)年には徳川家康の関東移封に伴い武蔵国へと移り、小島城は廃城となった。伊奈氏は関東の天領を治めて13代の忠善まで続いている。
　西方寺の北方の標高20mほどの小丘上が城跡とされるが、現在はアイシン城山工場の一部となり遺構は残されていない。工場建設に際し城跡に在った城山稲荷の碑が西方寺の本堂横に移されている。