1638(寛永15)年、大和国柳生藩主の柳生宗矩が開基、宗矩と親交のあった沢庵宗彭を開山として創建されたと伝えられる。宗矩が父の石舟斎宗厳の菩提を弔うため、柳生城があったと伝えられている場所に建立した。
　宗矩の死後、当時11歳であった末子の六ツ丸が仏門に入り、大徳寺の天祐和尚に預けられたのち、列堂義仙として第一世住持となった。1647(正保4)年正月、将軍家光の内意によって、宗矩の遺領小柳生村の1万2500石のうち200石が芳徳寺に寺領として分与された。1711(宝永8)年の火災により全焼したが、1714(正徳4)年に再建されている。
　廃藩後は荒廃して山門や梵鐘も売却され、明治末期には無住の寺となったが、1922(大正11)年に柳生家の末裔である柳生基夫氏が資金を遺贈し本堂が再建された。その後、1926(大正15)年に副住職(4年後に住職)として赴任した橋本定芳が芳徳寺の再興に奔走した。
　本堂には本尊の釈迦三尊像のほか、木造沢庵和尚坐像，木造但馬守宗矩坐像を安置している。木造但馬守宗矩坐像は1651(慶安4)年に宗矩の7回忌にあたり、柳生宗冬が京都の大仏師･康看に彫らせたもの。また、木造沢庵和尚坐像は1657(明暦3)年に、列堂が京都の大仏師･康春に彫らせたものであり、ともに火災を免れ今に伝えられている。