もともとは808(大同3)年に最澄上人によって安城に創建されたとされるが、1530(享禄3)年、徳川家康の祖父･松平清康が安城より薬師堂とその六坊を岡崎城鬼門の守護としてこの地に移し、甲山寺を創建した。その後、松平広忠は子のないことを憂い、和田村法性寺域にあった支院六坊のひとつ定光坊の住僧･永玖に鳳来寺の薬師如来に男子出生を祈願させたところ、1542(天文11)年12月26日、男子(のちの徳川家康)を授かった。広忠は、その功績に対し1544(天文13)年、法性寺六坊を甲山寺へ移転し、新たに護摩堂を建立して総本堂とし、一山十二坊の寺院となった。家康公の出陣の折には、たびたび甲山寺の僧侶が従軍して戦勝を祈ったという。
　1603(慶長8)年3月、家康は本堂を再建し、同年8月18日、朱印地250石を寄附。1702～03(元禄15～16)年にかけて徳川綱吉の命により本堂が再建され、これに伴い諸大名が不動二童子，十二天立像を寄進している。
　本堂は桁行五間、梁間五間、桟瓦葺の禅宗様式である。江戸時代は東円坊，定光坊，密祥坊，多宝坊，極楽坊，花蔵坊の六坊が存在し、江戸の寛永寺の末寺となった。
　1774(延享元)年、甲山寺一山の多宝坊の一角に堂宇が建立されたが、この堂宇は1879(明治12)年に極楽坊境内に移転建立され、現在は秋葉堂と呼ばれる。
　また、甲山寺の北には甲山八幡宮，甲山1号墳(甲山寺所有)がある。