元弘三年(1331)、後醍醐天皇は鎌倉幕府を倒そうと計画をめぐらしたが発覚、京都から笠置山に潜行して幕府打倒の檄を発した。いわゆる元弘の乱で、この乱に際して播磨守永珍と弟の笠置寺衆徒中坊源専は、天皇の檄に応じて笠置山に馳せ参じた。中坊源専は笠置山の南一の木戸の将として幕府軍を迎え撃ち、播磨守永珍は柳生に拠って奈良方面から押し寄せる幕府軍に備えた。
　戦いは柳生兄弟の奮戦もむなしく、天皇方の敗北となり、笠置山は灰燼に帰し、捕えられた天皇は隠岐に流された。柳生一族は柳生の地を没収され、没落の運命となった。それから3年、隠岐から脱出した後醍醐天皇により幕府は倒れ、建武の新政が開始された。ここに、柳生の地は笠置山の戦功によって中坊源専が賜り、源専はこれを兄永珍に譲った。柳生氏はふたたび柳生を領して、戦国時代には興ケ原の興ケ原氏、丹生の丹生氏、邑地の吉岡氏らとともに北和の豪族に成長した。