1479(文明11)年、大樹寺開山の勢誉愚底の弟子･法誉悦叟が松平宗家4代･松平親忠の発願を受けて加茂郡力石に極楽山浄土院不遠寺を創建したのが始まりとされる。1488(長享2)年、寺部城初代城主の鈴木重時が勧学院文護寺跡と伝わる現在地に移転し、香華寺を建立した。さらに1652(承応元)年8月に、渡邉治綱が母(渡邉重綱夫人)である随應院殿の三十三回忌法要を行った際、境内を整備し寺号を極楽山不遠寺随應院と改めた。本堂には、松平親忠が寄進した本尊阿弥陀如来像が祀られている。
　本堂西側には、随應院殿を始めとする渡邉家当主の奥方や鈴木重明，鈴木重教，鈴木重次の寺部鈴木氏の墓がある(豊田市指定史跡)。なお、渡邉家当主の墓所は、北東に位置する守綱寺(渡邉家墓所)にある。