築城年は定かではないが、矢田作十郎助吉もしくはそれ以前の代に堺川沿いの高台に築いたとされる。作十郎の父祖の代から松平氏に仕えたが、作十郎は1563～64(永禄6～7)年の三河一向一揆の際には一揆方に属し、松平元康と敵対した。大将として松平忠倫らと共に上宮寺に籠城したが、1564年11月25日、鉄砲に中り討ち死したという(一説には小豆坂の戦いでの討ち死したとも)。その子孫には、赤穂四十七士の1人である矢田五郎衛門助武がいる。
　城は標高10m,比高5mの台地端に築かれた単郭の方形城館で絵下城児童遊園辺りが西端とされる。北側には堀跡を思わせる水路が通る。現在は住宅地,公園となり遺構は残されていないが、地名に｢絵下城｣として残されている。