築城年,築城者は定かではないが、その名称から街道筋を抑えるための番所があったと考えられる。東大谷川が湾曲する東側に位置し、主要部は約40×50mで西側に曲輪を持ち、堀と土塁に囲まれていた。現在は消滅しているが、東側にも北へ延びる高土塁があったという。
　1578(天正6)年11月、高天神城を攻略していた武田勝頼は、兵8,500を率いて西の萩原口を越えて東大谷を経て、徳川方の大須賀康高が高天神城の抑えとして築いた横須賀城を攻撃する態勢をとったが、東大谷の入口にて小返しし犬待坂において徳川勢と合戦に及んだ(『高天神記』)。その犬待坂がこの辺りという。