1619(元和5)年に安芸国広島城主の福島正則が改易となると、紀伊国和歌山城主の浅野長晟が広島へ移り、駿府藩主であった徳川頼宣が55万5千石で入封して御三家の一つとなった。1634(寛永11)年、紀州藩によって伊勢国18万石の所領のうちの約5万石を支配するために白子に奉行所が設けられ、1799(寛政11)年5月には代官所となった。代官所には代官と手代元締1人と手代6人がいた。また、代官所の北側には藩主の別邸である御殿が設けられていた。
　現在の白子小学校付近に築かれていたが、遺構は残されていない。
　なお、時代は遡るが、1582(天正10)年の本能寺の変の際に、徳川家康はわずかな供廻で伊賀越えを行い、この白子の港から船で伊勢湾を横断して三河国大浜にたどり着き、三河国岡崎城へ帰還している。