1493(明応2)年、牧野成時(古白)が豊川右岸地域に勢力を拡大してゆく過程で牧野城に次ぎ築いた城である。同年、成時は主人であった一色時家を討ち滅ぼして長山一色城を乗っ取った波多野全慶を灰塚野で討ち破った。そして、自らは一色城に移り、牧野城には長男の牧野能成、瀬木城には次男の牧野成勝を置いた。1505(永正2)年、成時は今橋城を築いて居城を移すと、成勝は一色城に移り、瀬木城は廃城となった。
　牧野城が方形の掻揚城で中世武家屋敷の形態であったのに対して、瀬木城は主郭の虎口部に曲輪を設けるなど、近世的城郭の形態へと一歩進化したものとなっている。
　瀬木城は現在の神明社一帯に築かれており、浅野文庫所蔵の諸国古城之図によれば、瀬木城の西側を流れる豊川に面して築かれていた。主郭部は神明社の境内で西側に深い空堀が南北に残る。土塁は部分的であり、南の参道の両脇に虎口を形成したと思われる櫓台状の土塁が確認できる。