1561(永禄4)年、織田信長の美濃攻めに従軍し功をあげた香川長兵衛忠次が、この地の名に因んで伊木の苗字を授けられ伊木忠次と改名し､木曽川北岸に聳える標高173mの伊木山山頂に伊木山城を築いた。対岸の犬山城と鵜沼城とのつなぎの城として、重要な働きをもっていた。伊木山自体は比較的大きな独立丘陵であるが、城が築かれているのは山頂部のごく一部であり、発掘調査では石垣などの遺構が見つかっているが、大半は埋め立てられている。山頂にはかつて航空機監視施設があり、無線塔が建っている。現在､城址周辺は「いこいの森伊木の森」として整備されている。
　忠次は、信長の家臣である池田恒興に転仕し、恒興の死後も池田輝政に仕えたが、1590(天正18)年、輝政が三河国吉田城城主となると、その支城である田原城主となり、伊木山城は廃城となった。さらに、1601(慶長6)年、関ヶ原合戦の功により輝政が播磨国姫路城主となると、伊木忠次も筆頭家老として播磨国三木城主となっている。