1357(正平12/延文2)年、一色有義が父である吉良満義の菩提を弔うため創建したとされる。真宗大谷派の寺院で山号は南潮山。境内裏手の墓地に吉良満義･一色有義親子の墓があり、寺北隣には｢一色氏発祥之地｣の石碑が建つ。
　また、安休寺は日本初の幼稚園を創立した関信三の生誕地でもある。1876(明治9)年、欧州滞在中の見聞を活かし、帰国後に日本初の幼稚園(現･お茶の水女子大学附属幼稚園)を創立し、その初代監事(園長)に就任した。寺内に顕彰碑は建てられている。