築城年は定かではないが、当初は細見河内守家盛の居城であったとされ、1509(永正6)年頃には水野下野守清忠の居城となっている。細見氏は堀田行高の子･之満が細見右近大夫と称したことに始まり、その子･細見河内守冒勝と続くが、細目城との関係は不明である。また、水野下野守清忠は緒川城主･水野信元の祖父にあたり、冨具神社に残る1509(永正6)年の棟札に清忠の名がみえることから、その頃にはこの地を支配していたと思われる。
　しかし、細目城の位置については特定できておらず、吉祥寺裏山の細目城跡Ａと、冨具神社南東の丘陵上にある細目城跡Ｂの2ヶ所が候補地として挙げられている。
　細目城跡Ａは吉祥山(本堂ヶ峠)と呼ばれる標高34ｍ,比高30ｍの丘陵上に築かれていたとされる。江戸時代初期にはすでに廃城となっており、寛永年間(1624～43年)までは吉祥寺が建てられていたという。吉祥寺が現位置の移ると、その後は畑地として利用されていたため、縄張りははっきりしない。Ⅰ郭と記した平坦部は東西約15ｍ,南北約10ｍほどで、東側に細長い尾根が伸び、植林に伴う段築が続いている。西側と北側に段状地形がみられるが、畑地や荒れ地,雑木林となっている。また、Ⅰ郭の北西約100ｍの地点には約10ｍ四方の平坦地Ⅱがある。東端に土塁上の高まりが残されている。
　Ⅰ郭へは北の神明社側から入ることができる。