築城年代は定かではないが、鎌倉時代末期より南北朝時代に存在した楠木正成の城である。正成は2つからなる城を持っており、下赤坂城が前衛の城、本城が上赤坂城とされる。また、詰めの城に千早城がある。
　1331(元弘元)年、倒幕計画が発覚した後醍醐天皇が笠置山で挙兵すると、楠木正成もこれに呼応して当地で挙兵。鎌倉からは、大仏貞直,金沢貞冬,江間越前入道(北条時見),足利高氏の正規軍全4軍が送られた。下赤坂城は俄造りの城であるため、長期戦は不可能と考えた楠木正成は、挙兵から1ヶ月余りの後の1331(元弘元/元徳3)年10月21日夜、自ら城に火を放ち、笠置山を落ち延びた護良親王とともに金剛山に潜伏した。鎌倉幕府軍は城の大穴にあった見分けのつかない焼死体20～30体を楠木正成とその一族と思い込んで同年11月に関東へ帰陣した。1332年(元弘2/正慶元)年4月、正成は下赤坂城を奪い返し、鎌倉幕府方の湯浅宗藤を帰順させることに成功し、再挙兵したものの落城し、楠木軍は上赤坂城・千早城に後退して抗戦を続けた。
　また、南北朝時代にも南朝方の拠点となったが、1360(延文5/正平15)年に落城し廃城となった。周辺の金剛山の尾根上には上赤坂城とともに猫路山城,国見山城,枡形城などの出城が築かれており、赤坂城塞群を形成していた。
　現在、遺構はほとんど残っていない。千早赤阪村役場裏手付近が主郭であったとされる。千早赤阪中学校の裏手に石碑が建てられている。