1615(元和元)年、明知遠山氏の遠山方景によって築かれた。この年、一国一城令が発令され、明知城を破却して西麓の大手門付近に陣屋を築いた。1678(延宝6)年の5代目･遠山伊清の代には交代寄合ではなく江戸定府の旗本となったため、以降は村上氏が代官を務め明治に至った。
　 現在、大手門脇に水堀が残り、代官を務めた村上氏の屋敷と土蔵が残っている。