築城年は定かではないが、1426(応永33)年頃、松平宗家3代の松平信光が松平郷から岩津へ移住の際、青山権之尉光教が百々に城を築いたともいわれる。もともと青山氏は上野国吾妻郡青山郷の出身であるが、青山忠門のとき近江国から三河国額田郡百々村へ移り土着した。忠門は松平広忠に仕え、1548(天文17)年の小豆坂の戦いに初陣。1560(永禄3)年の桶狭間の戦い、1563～64(永禄6～7)年の三河一向一揆でも上和田城を守備し徳川家康方として戦った。
　1571(元亀2)年4月、武田勢の秋山伯耆守虎繁と松平源九郎が岩津で戦った際(広美の戦い)、阿知波右衛門，宇野小兵衛らとともに松平に加勢したが、忠門は真福寺附近まで出向いて奮戦し、銃撃で受けた傷がもとで亡くなっている。｢青山府君碑｣が墓地とされる。
　子の青山忠成も幼い頃から家康に仕えており、徳川秀忠の守り役を務めるなどし、1590(天正18)年の家康関東移封に伴い、相模国高座郡5,000石を得て移ったことで、百々城は廃城となった。
　城は標高40m,比高10ｍの丘陵上に築かれていたが、現在は林の中に青山忠門の墓碑が建つのみで、周囲は住宅地となり、遺構は残されていない。
　ちなみに東京都の｢港区青山｣｢青山通り｣の名称は、青山忠成の江戸屋敷があったことを由来としている。