築城年代は定かではないが、記録では1159(平治元)年には伊勢平氏支流の鷲尾遠衡が城主であったという。その後、吉良氏の統治下となり1414(応永21)年に高橋四郎高宗が城主となった。
　1561(永禄4)年、東条城主の吉良義昭に属していた高橋出羽守政信は、三河統一を進める松平元康幕下の酒井雅楽助正親(西条城主：同年奪取)が東条城を攻め落とした際に、赤羽根城炎上とともに戦死したとされる。
　その後、政信の一子(洞山祖誕上人)は、一族の菩提を弔うために城跡の南東隅に瑞雲寺を創建した。瑞雲寺にある金石文にはその古城との因縁について記されている。
　現在は赤羽別院親宣寺や県立一色高等学校の敷地となっており、親宣寺裏の地形は堀跡を窺わせる。