築城年は定かではないが、永享年間(1429～41年)、紀伊国本宮から移り住んだ稲石五郎蔵光明が、1444(文安元)年に築いたとされる。その後は林氏を名乗り、正義，孫八郎光衡，光清は今川氏に仕えた。林光正は松平元康に仕え、1563(永禄6)年の御油台の戦いで討死している。
　城は現在の東林寺の北西と御油小学校東側との中間付近100m四方に築かれていたとされるが、住宅地,畑に変わり遺構は残されていない。