堀尾孫助の居城とされるが、正中年間(1324～26年)には廃城となっており、城跡に八幡社が祀られた記録が残っている。その規模や構造などは伝わっておらず不明であったが、近年の区画整理事業に伴う発掘調査では、城の北辺,南辺,西辺に部分的ではあるが幅4mほどの堀が確認されている。その内側には敷地を区画する溝、掘立柱建物を構成していたとみられる多くの柱穴、井戸などが見つかっている。
なお、この南外山城跡は、南外山北浦遺跡,南外山東浦遺跡と3つを合わせて南外山遺跡と1つの遺跡として定義し直された(2006年3月31日)。縄文時代後期から室町時代にかけての幅広い年代の遺物や住居跡などが見つかっており、現在も発掘調査が進められている。