1642(寛永19)年、徳川幕府より1万2千石の所領を与えられた柳生宗矩が約3年の歳月をかけてかつての柳生城に隣接してところに建設した。宗矩は、徳川秀忠,家光に兵法指南役として仕え、柳生新陰流を伝授するなど数々の功績をあげて、剣士から大名へと出世した。藩祖･宗矩の死後、長男の柳生三厳(十兵衛)に8300石、3男･柳生宗冬に4000石、4男･柳生列堂(義仙)に200石と分知されたため、大名から旗本となり、柳生三巌の死後は跡目がなかったことで柳生宗冬が家督と遺領を継ぎ大名に復帰した。
　陣屋は1374坪あったとされるが、1747(延享4)年に火災により全焼し、その後、仮建築のまま明治維新を迎え公売された。現在は公園として整備されている。