1530(享禄3)年頃、石川信治が三河国碧海郡泉郷の地を得て屋敷を築いたとされる。信治は松平清康による宇利城攻めで戦功を挙げている。その後、正信,信定,信英が居住し、1590(天正18)年に廃屋となった。
　1583(天正11)年、信定の長男としてこの屋敷に生まれたのが重之(幼名は嘉右衛門)で、のちの石川丈山である。16歳で徳川家康の近習となり、1615(元和元)年の大坂の陣では先登(軍令違反の先駆け)したため蟄居の身となった。これを機に学を志し、林羅山を介して藤原惺窩と出会い、儒学の教えを受ける中で自分の進むべき道を見つけた。一時はやむなく広島藩浅野家へ儒学者として再出仕したが、1636(寛永13)年に京都相国寺近くに睡竹堂を築いて移住した。後半生は1641(寛永18)年洛北一乗寺に詩仙堂を造営して終の栖とした。1672(寛文12)年、90歳で亡くなっている。丈山は漢詩人であり、隷書を日本で初めて取り入れた書家として知られる他、作庭家,煎茶(文人茶)の開祖ともいわれている。
　現在の丈山苑は、丈山の誕生地で幼き頃を過ごした屋敷跡に詩仙堂をイメージして1996(平成8)年に開苑したものである。遺構は残されていない。