17世紀後半に編纂された『浜松御在城記』には、鵜殿兵庫頭氏長の屋敷が鴨江観音堂の北築地跡にあったと記されている。現在の浜松市立西小学校の辺りとされるが、遺構は残されていない。
　1560(永禄3)年の桶狭間の戦いの敗戦で今川氏の三河支配は後退し、多くの国人は松平氏の傘下に加わったが、上ノ郷城主･鵜殿長照(氏長の父)はなおも今川氏に従属し、松平元康(のちの徳川家康)と抗争した。しかし、1562(永禄5)年には落城し長照は戦死。氏長は弟の氏次とともに捕らえられ、駿府に抑留されていた元康の夫人･瀬名,子の竹千代,亀姫との人質交換によって今川氏方へと引き渡された。その後も今川方として吉田城を守ったが、今川氏没落が決定的になると徳川氏に臣従して旧領を安堵され、遠江二俣城の守将の一人となった。その後は姉川の戦い、長篠の戦い、光明城攻めなどに従軍している。