築造年は定かではないが、倉真川に臨む東岸に築かれた地元豪族の糟屋氏の居館である。天文年間(1532～55年)には土豪の粕屋藤兵衛の名がみえる。1574(天正2)年、糟屋善左衛門則高は高天神城の小笠原氏助に与し、武田勝頼率いる武田軍と戦った。
　1642(寛永19)年まで糟屋善左衛門だけが庄屋であったが、翌年、善右衛門と岩清水惣兵衛，佐藤喜左衛門，石山三左衛門が庄屋となり四組に分かれた。今は中村の善左衛門の屋敷といわれている(現在は粕谷姓)。
　50m四方ほどの規模で周囲には土塁を巡らせていた。大手口は南に開けられ、北側には食違虎口が見られる。現在は水堀の一部が残されている。また、北側には用途ははっきりしないが、高さ0.6～1.5mの土盛りがある。