標高84ⅿ,比高40ⅿの丘陵上に建つ岩井寺は742(天平13)年に聖武天皇勅願により行基によって開山されたとされるが、詳細は不明である。さらには高天神城支城のひとつともいわれるが、確たる史料，論拠は示されていない。この地は第1次高天神城の戦いで武田方に降った小笠原信興の領地であり、そのときの陣城なのか、あるいは徳川方と戦った第2次戦いの際に活用された砦なのか定かではない。なお、信興自身は1576(天正4)年頃にはに駿河国富士郡に転封となっているが、徳川方が高天神城奪還の計画を進める中で、横須賀城の大須賀康高を武田勢の先鋒として攻めている。
　戦時には、地形的にみて三方を大土塁で囲まれた岩井寺境内が主郭となる。また、観音堂が建つ曲輪は大手口を守備するに格好の場所である。ただ、現在は開墾が進み、それ以上の曲輪，防御構造をもっていたのかは今後の調査に期待するしかない。