1560(永禄3)年、織田信長は桶狭間の戦いに勝利した後、念願の美濃国併呑を実現すべく、早くもその3ヶ月後から美濃攻めを開始した。1562(永禄5)年には徳川家康と清洲城において清洲同盟を結んだことで尾張国東側の脅威を消滅させ、全力で美濃国を攻める体制を整えるために美濃国に近い尾張国北方の孤峰、小牧山山頂に丹羽長秀を奉行として城を築き、翌1563(永禄6)年には主要兵力を小牧山城に移した。ただ、信長自身は美濃攻めを終えると稲葉山城へ移り、小牧山城は4年間で廃城となった。
　1584(天正12)年、小牧長久手の戦いが起きると、家康がいち早く小牧山に目を付けて本陣を置き、遅れてきた秀吉を悔しがらせたといわれる。この時、信長の築いた城跡の土塁,空堀などに大規模な改修が施され、強固な陣地が築かれた。秀吉の大軍も容易に手が出せず、焦った池田恒興や森長可が三河への無謀な長駆攻撃を敢行して長久手方面へ突出して壊滅する事態となった。
　江戸時代には、家康｢御勝利御開運の御陣跡｣となり、山と城跡は尾張徳川家の領地として保護を受け管理され、一般の入山は禁止された。明治維新後も尾張徳川家の所有地であったが、1927(昭和2)年に、時の当主･徳川義親によって国に寄付され、同年、国の史跡に指定されている。
　標高86mの頂上に本丸を築き、その四方を三重の石垣で守りを固めており、天正期の城で石垣を用いているのは小牧山城のみである。中腹も削平して数多くの曲輪を構築している。東麓の帯曲輪では、堀で仕切られた武家屋敷があったと推定される。その南端の区画は他の武家屋敷よりも敷地が広く、ここが信長の屋敷ではないかと推測されている。また、現在の大手道の地下には永禄期の大手道があることが発見されている。永禄期の大手道は、山側谷側にもそれぞれに石積を設け、道の両端を区画していた。道幅は約5ｍで道に並行して幅20cmの排水溝を設置しており、この構造は安土城の正面にある大手道と構造的に似通っており、安土城が初見とされる大規模な大手道は、この小牧山城が最初であったと推測されている。小牧長久手の戦いの際には、陣城として大掛かりな土木工事が行われ、山の周囲全体を土塁と堀で囲み、要所には防衛用の虎口が設けられた。
　小牧山城は、後に織豊系城郭と呼ばれる城郭体系の原点であるといえる。