1578(天正6)年、大須賀康高は、高天神城奪還に向け、徳川家康の命を受けて、横須賀城を築く際、この地が候補地のひとつであった。第2次高天神城の戦いでは、砦のひとつとなった。
　戦後の1581(天正9)年、康高は岌屋春阿上人(応声教院17世)を招いて開山とし、撰要寺を創建した。西は入江に面し、風光絶景の地で山号を｢景江山｣とし、寺名は浄土宗の『撰釈本願集』と『往生要集』よりとって撰要寺と名付けた。
　1584(天正12)年以降、大須賀氏の菩提寺として庇護され、2代･大須賀忠政は一時、上総国久留里に移封されるが、1601(慶長6)年、再び横須賀城主となり、撰要寺に寺領10石を寄進している。江戸時代を通じて歴代横須賀藩主から庇護され10万石の格式を得て寺運も隆盛した。
　山門は横須賀城の不開門(あかずの門)を明治初めの廃城時に撰要寺に移築したもので、総松材造りで｢丸に立葵｣の紋章がつけられているところから12代城主･本多利長の在城時代の建造とされ、掛川市指定文化財となっている。
　また、境内には大須賀康高,忠政の墓碑をはじめ、高天神城の武将･小笠原家一族や本多利長一族の巨大な墓塔群などがあり、これらは静岡県指定文化財となっている。