築造年は定かではないが、元々は今川氏家臣の大石五郎左衛門の屋敷であり、高天神城攻防戦のとき大石氏が他所に避難した際に渥美氏がはいった。渥美源五郎勝吉は大須賀康高配下の勇士として知られ、1574(天正2)年に高天神城が武田氏の手に落ちた後は、大須賀氏の横須賀城に居住し、以後、槍の名人として数々の戦いで活躍した。大須賀忠政の上総転封にも従ったが、忠政の死後、勝吉は知行地の土方村の同屋敷に隠棲し、1616(元和2)年に死去した。その後、渥美氏が紀州へ移る際に、大石氏が屋敷を返還してもらい、現在に至っている。
　屋敷の主要部は東西約40m×南北約35mで、東西,北側に土塁が残る。北東部の土塁は高さ3m,幅5mほどあり櫓状の構造物があった可能性もある。また、その部分は東側の土塁と食い違い虎口状を形成しており、小規模は枡形虎口があったことが考えられる。