1574(天正2)年6月、武田勝頼は遠江を手中にするために、諏訪原城を拠点に高天神城を攻撃落城させた。1578(天正6)年、これに対して徳川家康は高天神城奪回のために、馬伏塚城主だった大須賀康高に命じて横須賀城を築城させ、その城主とした。　　
　1581(天正9)年、高天神城は落城と共に廃城となり、横須賀城が遠州南部の拠点として位置づけられた。城主は大須賀家2代の後、渡瀬家1代,有馬家1代、その後、再び大須賀家2代となるが除封され、能見松平家2代,井上家2代,本多家1代とめまぐるしく藩主が代わり、西尾忠成が2万5千石で入封して以後7代をもって明治維新を迎える。1868(明治元)年、20代城主西尾忠篤は明治維新の動乱のなか、安房国花房に移され、横須賀藩は静岡藩に含まれることとなり、1869(明治2)年8月に廃城となる。
　横須賀城は海岸線に面して東西に長い連郭式の縄張りで、本丸には天守台があり三層四階の天守閣があった。西に西の丸、北東下に北の丸、そしてかつての本丸跡と推測される松尾山を取り込んでいる。本丸の西には二の丸、東には三の丸を配している。横須賀城の特徴は他に類を見ない、天竜川より運ばれた玉石垣を用いた玉石積み築城法である。また、通常ひとつしかない大手門が横須賀城には東西にあり、｢両頭の城｣といわれた。現在は、石垣,堀,土塁などが残り、公園として整備されている。不開門は北西にある撰要寺に、町番所が市役所大須賀支所北側に、それぞれ移築され現存している。