寺部領主･渡邉半蔵家の家臣であった遊佐家に残された江戸時代後期の長屋門である。寺部城(寺部陣屋)の三の郭の北東に位置しており、主屋などは現存しない。桁行11.257m，梁間3.636m，間口10.9ｍ(6間)を測る。
　遊佐家は寺部初代領主･渡邉守綱が加茂郡5,000石を加増された1613(慶長18)年から仕える重臣で、初代は佐香与八兵衛実清と、佐香姓を名乗っていたが、1787(天明7)年の藤左衛門のときに本来の姓である｢由佐｣に戻したと伝わる。代々、矢作川の堤防の修理など普請奉行を務める家格であった。遊佐氏は明治以降も寺部村長や加茂郡会議員を務めるなど、地域に貢献している。