築城年代は定かではないが、今川了俊(貞世)を祖とする遠江今川氏の居城とされる。 遠江今川氏の居城はこの堀越城と見付端城が伝わる。貞世の後、貞臣,貞相,範将と続くが、範将の時代に堀越郷に居館があり堀越姓を名乗ったとされる。1532(天文12)年に今川義元が西楽寺に与えた安堵状に地頭堀越貞基の名が残るが、貞基は範将の孫にあたる。海蔵寺に堀越藤左ヱ門という墓があるが堀越氏の一族と思われる。
　城は海蔵寺一帯(須賀神社の辺りも含む?)にあったとされ、海蔵寺北側の丘陵には祠が建っている。また、近年まで寺の西側にある市街地に土塁などの遺構が残っていたとされる。