平安時代に姫ヶ城城主で三河守･大江定基が愛妾の力寿姫の死を悲しみ、庵を営み六光寺と名づけ冥福を祈ったのが始まりとされる。付近には六光寺の地名が今も残る。当初は天台宗寺院だったとされる。
　鎌倉時代に入り、北条時頼が出家して最明寺入道と名乗り、この地を訪れた際に最明寺と改称、禅宗寺院となった。
　戦国時代の1562(永禄5)年には、徳川家康が八幡砦における今川氏との戦いの際に当寺に立寄り、空腹をしのいだ恩雇を深く感じ、本尊阿弥陀如来の西方浄土に因んで最の一字を西と改め、西明寺となった。
　1930(昭和5)年、ドイツ帝国の医師で明治時代に日本に招かれ、27年にわたって日本の医学界の発展に尽くしたエルヴィン・フォン・ベルツ博士の供養塔が花子夫人(愛知県豊川市御油町出身,1881年結婚)によって建立された。これは博士が生前篤く仏法を信仰し、また当寺が花子夫人の先祖の菩提寺であったことによる。