築造年は定かではないが、1570(永禄13)年以前に徳川家康の家臣であった奥平貞昌(のちに信昌)の屋敷があったところとされる。浜松秋葉神社内に碑が立つ。家康が浜松城に入城する1570年、城の裏鬼門(西南)にあたるとして屋敷に北遠の霊山秋葉山より勧請した秋葉神社が建立された。
　奥平氏は祖父･貞勝の代までは今川氏に属していたが、1560(永禄3)年の桶狭間の戦い後に三河における今川氏の影響力が後退すると、徳川家康の傘下となった。
　1570(元亀元)年12月、武田氏の重臣･秋山虎繁が2500余騎を率いて東美濃の遠山氏の領地の一部を通って奥三河へ侵攻しようとした際に、貞昌と父･奥平貞能は徳川方として山家三方衆と三河衆2,500人と共に、同盟する遠山氏とともに武田(秋山軍)と対峙し、三河との国境の美濃国恵那郡上村にて戦闘が行われたが(上村合戦)、遠山氏の惨敗した様子を見て、既に武田方とも内通していた奥平貞能親子ら山家三方衆と三河衆は殆ど戦わずして城へ退き、その後は武田氏に属した。
　一方、家康は奥三河における武田氏の勢力を牽制するため、有力な奥平氏を再び味方に引き入れることを考え、家康の長女･亀姫と奥平貞昌の婚約と貞能の娘の本多重純への入嫁を提案し、1573(天正元)年、奥平氏の徳川再属を成立させた。1575(天正3)年の長篠の戦いでは、貞信が長篠城を守り抜き、織田信長から｢信｣の字を与えられ｢信昌｣と改名した。
　なお、貞昌が徳川へ帰参したことで、武田家に人質として送っていた妻･おふう(16歳),貞昌の弟･仙千代(13歳)など奥平氏の人質3人は武田勝頼によって処刑された(日近城跡に墓所がある)。