下坂氏は近江国坂田郡下坂庄の国人領主であり、下坂家には1336(建武3)年7月の足利直義からの感状を始め、佐々木氏,京極氏,浅井氏との関係を示す史料が存在し、特に、1573(天正元)年の浅井氏滅亡までの下坂氏との関係がよく分かる。浅井氏滅亡以後、下坂氏は帰農するが、現在も館跡に居住し当主は下坂氏の子孫である。
　下坂氏館跡の現在の遺構が室町時代に完成していたことが史料から分かり、典型的な中世の平地城館を呈している。遺構は、東西約89m,南北約87mの範囲において、高さ約1～2m,幅約2～5mの２重の土塁で囲み、幅約5～13m,深さ約1～3mの堀が現存している。主郭は東西約55m,南北約42mの内側土塁によって囲まれ、その北東側と南西側の２つの副郭により構成され、南西側の副郭は一段高くなっており、武者たまりと考えられる。下坂家の伝承では、その副郭に有事の際に立籠もり、防戦につとめたと言う。内側土塁の東側に高さ約2m,幅約7mの虎口を設けており、東側平坦部の東西約75m,南北約45mの腰郭へと続く。また、下坂家の菩提寺である不断光院の東側に幅約5m,長さ約30mの土塁が現存しており、さらに南東部に土塁,堀が設けられていたと思われる。
　館内南東に下坂氏の菩提寺で木造入母屋造茅葺の不断光院の本堂と切妻造茅葺の門がある。古くは天台宗に属して西福寺と称していたが、後鳥羽上皇の皇子が当寺で薙髪して高雲山不断光院と称したのを機に寺名を改めた。観応年間(1350～51)に再興され、浄土宗に転じ現在に至る。館中央に切妻造茅葺の門と木造入母屋造茅葺の主屋とその北東と南西に屋敷社が祀られている。不断光院及び主屋の建築時期は18世紀前期と考えられ、門も同時期と考えられる。
　2006(平成18)年1月26日に指定された｢史跡下坂氏館跡｣に、2007(平成19)年7月26日に｢三田村氏館跡｣が追加され、｢史跡北近江城館跡群下坂氏館跡　三田村氏館跡｣に名称変更されている。