築城年代は定かではないが、1532(天文元)年、匂坂筑前守六郎五郎長能は社山城主を菅沼重左衛門定平と交替し、本領匂坂に城を築いたとされる。その際、社山城より若宮八幡宮を匂坂城に移し鎮守とした。
　1568(永禄11)年、徳川家康の掛川城攻略に際して匂坂吉政は今川氏から徳川方に寝返り、家康より安堵状を受けている。1570(元亀元)年7月の姉川の戦いでは、匂坂政信,吉政兄弟は朝倉氏の猛将真柄十郎左衛門直隆を討ち取る武功を挙げている。
　1571(元亀2)年3月、武田信玄の高天神城攻めのときには、信玄に攻められ落城した。遠江に進出した武田信玄は重臣の穴山梅雪を置いて守らせた。この頃の匂坂城は武田軍の二俣城攻めに際し、掛川と浜松を分断する大きな役割を果たしていた。
　城は天竜川の東岸にある豊田原台地の西端に築かれていたとされ、字大土居と呼ばれる地には幅3～4m,深さ1.5m,東西100mの堀と土塁があったといわれるが土地改良により消滅したという。
　なお西下の平地には匂坂氏の居館があったといい、ここに匂坂城の石碑が建っている。