1641(寛永18)年、徳川将軍家の家臣であった石川丈山が隠居のため、59歳の時に造営した山荘である。丈山は1672(寛文12)年に90歳で没するまでここで詩歌三昧の生活を送った。後に寺院化され、丈山にちなんで寺号は丈山寺とされた。曹洞宗の寺院で本尊は馬郎婦観音。
　1641年に凸凹の土地に建てられた｢凹凸窠｣は詩仙堂と呼ばれる。仏間もあり本堂ともなっている。三十六歌仙にならい、丈山が林羅山と意見を交わしながら漢,晋,唐,宋の各時代から選出した詩家36人(三十六詩仙)の肖像画が詩仙の間の四方の壁に掲げられている。狩野探幽筆によるものである。玄関上は3階建の｢嘯月楼｣となっており、その右手(西側)には瓦敷の仏間と六畳,八畳の座敷、左手には四畳半の｢詩仙の間｣｢読書の間｣など多くの部屋がある。このうち嘯月楼と詩仙の間の部分のみが石川丈山の建築で、他は後世の改築である。
　丈山の設計とされた庭園｢百花塢｣では、春のサツキと秋の紅葉を楽しむことができる。また、丈山が考案したとされる鹿威し｢添水｣も静寂な中にアクセントを与えてくれる。
　なお、愛知県安城市には石川重之(のちの丈山)が生まれ育った屋敷跡に詩仙堂をイメージしてつくった丈山苑がある。