1848(嘉永元)年、柳生藩の国家老･小山田主鈴が藩の財政再建を成し遂げたのち隠居宅として建てた武家屋敷である。1826(文政9)年、小山田主鈴は国家老として江戸から柳生へ戻り、大坂堂島の米相場で巨利を得て柳生藩の財政再建に尽力した。隠居後、藩主･柳生俊章から賜った土地に1847(弘化4)年に新邸の建築を開始した。なお、大規模な石垣は1841(天保12)年に尾張国の石工によって築かれている。主鈴の死後も子孫がここに留まり、昭和になって米蔵などの付属施設は撤去されたが、主屋は創建当時の姿を残しており、現存する奈良県下唯一の武家屋敷である。
　1964(昭和39)年には作家の山岡荘八の所有となり、氏の小説｢春の坂道｣の構想はこの屋敷で練られたという。氏の亡き後は、その意志により奈良市へ寄贈され、現在は小山田主鈴と柳生藩および山岡荘八に関する資料館として公開されている。