1342(興国3/康永元)年、北畠顕能によって築かれた居館である。伊勢国司となり、南朝方として伊勢に勢力を持っていた顕能ではあったが、各拠点が北朝方の攻撃を受け、この年に田丸城が落城すると、北畠氏はほどなく多気に拠点を移し霧山城や館を築いたとされる。発掘調査の結果、建物の柱穴や区画の石列が見つかるとともに、建物等の築造にあたっては石垣を伴う大規模な整地が実施されていることが明らかになっている。館の中心部の構造については不明な点もあるが、遺物として多量の土師器などのほか、各種の施釉陶器や中国産の青磁類,引手金具などが発見されている。
　現在は北畠神社となっており、館跡には1521(永正18)年頃に伊勢国司の北畠晴具の義父だった管領細川高国が造った庭園が残されている。庭園は池泉観賞様式の武家書院庭園で、国の名勝に指定されている。