崇神天皇7年に創建されたという倭大国魂大神を主祭神(中殿)として祭る神社である。左殿は八千戈大神あるいは須沼比神,三輪大明神、右殿は御年大神あるいは天照大御神,稲倉魂神と文献によって諸説ある。
　『日本書紀』によれば、崇神天皇は、国内情勢の不安定は宮中に同殿共床で祀られている天照大御神と倭大国魂神の両神の勢いのためであると畏れるようになり、崇神天皇6年に天照大御神を皇女･豊鋤入姫命に命じて大倭国の笠縫邑に移して祀ることとし、倭大国魂神は皇女･渟名城入姫を斎主として宮外で祀らせるようにした。しかし、淳名城入姫は髪が抜け落ち体は痩せて祭祀を続けることができなくなった。翌崇神天皇7年2月と8月、倭迹迹日百襲姫命らが｢市磯長尾市をもって、倭大国魂神を祭る主とせば、必ず天下太平ぎなむ｣との夢告を受けたため、同年11月に神武天皇の臣･椎根津彦の子孫である市磯長尾市を祭主として、新たに神地が定められ当社が創建された。当初の鎮座地は、現在の鎮座地の東方の山麓大市の長岡崎であるとみられ、後に現在地に遷座したとされるが、その時期ははっきりしない。
　692(朱鳥6)年、持統天皇は藤原京造営にあたって、伊勢,住吉,紀伊の神とともに当社に奉幣し伺いを立てている。897(寛平9)年には最高位である正一位の神階が授けられた。
　平安時代初期までには諸国に神封327戸という伊勢神宮に次ぐ広大な社領を得、朝廷の崇敬を受けて隆盛した。しかし、平安京への遷都や藤原氏の隆盛、1118(永久6)年の火災などにより衰微していき、1583(天正11)年の火災によって神領の書類をすべて焼失し、中世には社領を全て失ってしまった。
　1871(明治4)年、官幣大社に列せられ、新たに社殿が造営された。1948(昭和23)年には別表神社(神社本庁が包括している神社)に加列されている。
　また、戦艦大和には当社の祭神の分霊が艦内神社として祀られていた。1945(昭和20)年4月7日に坊ノ岬沖海戦によって沖縄沖で沈没した時に戦死した第二艦隊司令長官･伊藤整一中将以下2717名が末社･祖霊社に合祀された。さらに1972(昭和47)年には、軽巡洋艦矢矧と駆逐艦8隻の戦没者も合祀され、坊の岬沖海戦の全戦死者3721柱が国家鎭護の神として祀られている。