築城年代は定かではないが、北畠氏の家臣であった榊原利長によって築かれたとされる。
　永禄年間(1558～70年)に榊原氏経は大和国宇陀郡で討死し、その子の刑部少輔と孫の三左衛門尉父子も北畠氏に仕えた。北畠氏が滅亡すると織田信長に属し、織田信包が上野城を居城とした頃、榊原三左衛門尉は中山へ移り廃城となった。なお、徳川家康の四天王として名高い榊原康政は、永禄年間に三河国上野郷(現在の豊田市上郷町)へ移った氏経の弟長政の子として誕生したという(榊原康政生誕の地)。
　榊原城は榊原小学校の南にある東へ伸びた丘陵に築かれており、小学校の裏に登城口がある。城跡には横堀を確認することができるが、この地はかつて学校のグラウンドとして使うため整地されており、本来の遺構はどの程度残されているのかは不明である。