築城年代は定かではない。1927(昭和2)年刊行の『広瀬村誌』には、寛和年間(985～987年)に参議中将藤原友実の長子･鷺坂十郎則実が社山城を築き、以降11代続いて匂坂六郎五郎長能の時に匂坂城を築いて移ったとされるが、信憑性が乏しい。
　戦国時代に入り、1500(明応9)年、遠江国守護の斯波義寛は弟の義雄を社山城に送り込み、遠江での失地回復を目論んだが、翌1501(文亀元)年、今川氏親によって二俣古城(笹岡城)に追われ、社山城は今川氏の支配となった。
　永禄年間(1558～70年)、今川氏が没落すると遠江国へ進出した徳川家康の支配となり、1572(元亀3)年に武田信玄が遠江国へ侵攻すると、信玄は二俣城を攻略するためにに社山城を攻略しその北方にある合代島に本陣(亀井戸城とも)を構えたと推測されている。さらに1573(天正元)年、徳川家康は二俣城奪回のため社山に砦を構えたという。武田氏滅亡以降は城としての存在価値がなくなり、1590(天正18)年に家康が関東に移封されると自然廃城となった。
　城は天竜川東岸にある磐田原台地の北端に築かれている。主郭は山頂西側にあり南北に長く、曲輪には八幡社が鎮座する。また、北と南西側に横堀が巡り、西尾根には大堀切が残る。主郭から北へ伸びた尾根の先端にある北曲輪の北下にも横堀がある。主郭の東側には空堀を挟んで東曲輪(二の曲輪)がある。西の空堀に面して大土塁があり、東西に長い曲輪は中央の空堀によって東西二郭に分かれる。東の尾根には二条の堀切が残る。遺構の保存状態は良好で城址は｢社山公園｣として整備されている。