築城年代,築城者は定かではないが、1514(永正11)年に小笠原定政が早川三郎を敗って城主となり、以後、幡豆小笠原氏5代の居城となった。幡豆小笠原氏は徳川家康の船手衆として知られているが、1560(永禄3)年の桶狭間の戦いの後、三河平定を進める松平元康に対し、城主･小笠原広重と欠城主･小笠原安元が戦いを挑んだという言い伝えがある(走り付けの戦い)。なお、小笠原氏は本多忠勝の説得でほどなく家康側に与したという。
　1590(天正18)年の家康関東移封とともに、小笠原氏も上総国に領地を賜り関東に移った。その後、寺部城は自然に廃城になったものと思われる。
　城は海岸線から250mほどにある標高29.7ｍの舌状丘陵を利用した連郭式平山城で、東側と西側に外堀があった。西側は小野ヶ谷川を自然の堀としていた。現在は、本丸,二の丸,土塁,堀などが遺構として残されている。