築城年代は定かではないが、向笠氏の代々の居城とされる。1508(永正5)年に今川氏親が伊勢新九郎(のちに北条早雲)を大将として三河国岩津城を攻めた際、遠州衆の中に向笠氏(無笠氏)の名がある。
　1572(元亀3)年、武田信玄の遠江侵攻に向笠伯耆守は武田氏に降ったが、翌1573(天正元)年の徳川家康の遠江侵攻では、酒井忠次らが攻め寄り向笠一之宮城とともに落城した。定福寺(廃寺)にあった向笠伯耆守の五輪塔が新豊院の西奥に残されている。
　城は敷地川の西岸にあり、新豊院の西背後にある新豊院山古墳群を含む南北の山に築かれていたとされる。現在は新豊院の西側が谷間となって北と南に大きく分かれているが、元々は北と南の山は西側で繋がっていたとされる。南の山の山頂には平削地が広がっているが遺構であるかは不明である。