創建時期は定かではないが、『矢作町誌』によれば、景行天皇の時代、日本武尊が東夷征伐に向かった頃とされる。日本武尊が当地を訪れたとき、地元の民から賊の退治を依頼された。日本武尊は、率いてきた矢を作る職人･矢作部たちに矢を作るよう命じた。しかし、矢を作るための竹は川の中州にあったが、川の流れは速く、矢作部たちは中州まで行くことができなかった。そこへ一匹の蝶が現れ人の姿となり竹を切り取ってきた。矢作部たちはこの竹を用いて1万本の矢を作り、日本武尊は戦いの神である素戔嗚尊を祀り、賊を討ち果たしたと伝えられる。この矢竹の一部が矢作神社にある｢矢竹藪｣であり、この故事によりこの神社は矢作神社と呼ばれることになったという。主祭神は素戔嗚尊。
　また、1083(永保3)年、源義家が陸奥守として奥州に向かう途中に、日本武尊の故事にならい矢作神社に参拝したという。
　さらに、1335(建武2)年、新田義貞が足利尊氏との戦いでの戦勝祈願を行った際に、神社の前にあった石が鳴動した。義貞は、これを神の加護と信じて戦い、勝利を収めたといわれる。この時の石が｢うなり石｣と呼ばれ、矢竹とともに祀られている。
　神社は、南北朝時代の建徳･文中年間(1370～74年)の頃には、兵火により焼失したと伝えられている。その後、天文年間(1532～54年)に岡崎城主の松平広忠が祠を現在の字祇園に再建したが、天正年間(1573～91年)の矢作川堤防決潰により流失した。その後、神殿を現在の地に祀られていた宝珠稲荷に合祀した。
　時代は下り、第一次世界大戦後の1921(大正10)年と1922(大正11)年の4月には、日本海軍の防護巡洋艦｢矢矧｣の艦長以下乗員一同が正式参拝し、｢矢矧｣の100分の1の模型を奉納している(現存)。また、｢矢矧｣の艦内には矢作神社の分霊が祀られていた。