『新編相模風土記』では鎌倉時代末期に大森信濃守頼顕によって築かれたとされ、同時に城内に城源寺を開いた道蓮社大誉上人は1325(正中2)年に没したという。頼顕は1417(応永24)年に小田原古城を築いた大森信濃守頼春の曾祖父にあたる。
　この地はもともと平氏の流れである土肥実平の嫡男･小早川遠平の本拠地であったが、源頼朝の挙兵に頼朝方として一族を挙げ参戦した。戦後は安芸国沼田荘の地頭に任命され、沼田へは養子に迎えた景平を赴任させ、嫡男の維平に宗家の土肥氏を継がせた。1213(建保元)年に勃発した和田合戦では土肥一族は和田義盛に加担し大きく勢力を削がれたが、遠平は参戦しておらず所領を安堵されている。のちに、土肥氏は沼田荘へと去り、その居館に大森頼顕が移住したと考えられる。
　鎌倉時代の花岳城は小田原城のような平山城ではなく、方形居館を基にした館城であったと思われる。現在は石碑が立つのみで遺構は残されていない。