創建年は定かではないが、布留山の西北麓に鎮座する古代軍事氏族である物部氏が祭祀する非常に歴史の古い神社である。『古事記』『日本書紀』に既に記述がある。ヤマト政権の武器庫としての役割も果たしてきたと考えられている。
　社伝によれば、神体である布都御魂剣は建御雷神(武甕槌)と経津主神の二神による葦原中国平定の際に使われた剣で、神武天皇が東征で熊野において危機に陥ったときに、高倉下(尾張連の遠祖)を通して天皇の元に渡った。その後、物部氏の祖･宇摩志麻治命により宮中で祀られていたが、崇神天皇7年、勅命により物部氏の伊香色雄命が現在地に遷し、｢石上大神｣として祀ったのが当社の創建という。社伝ではまた一方で、素盞嗚尊が八岐大蛇を斬ったときの十握剣が、石上布都魂神社(岡山県赤磐市)から当社へ遷されたとも伝えている。
　868(貞観9)年には神階が正一位となる。『延喜式神名帳』には｢大和国山辺郡 石上坐布留御魂神社｣と記載され、名神大社に列し、月次･相嘗･新嘗の幣帛に預り、臨時祭も執り行われると記されている。中世以降は布留郷の鎮守となり、当社の神宮寺である内山永久寺と共に栄えた。しかし、興福寺と度々抗争を繰り返し布留郷一揆が頻発し、戦国時代に入ってからは織田信長の勢力に押されて多くの神領も没収された。明治時代になり内山永久寺は廃寺となったが、当社は1871(明治4)年には官幣大社に、1883(明治16)年には神宮号を再び名乗ることが許された。
　石上神宮には本来、本殿は存在せず、拝殿の奥の聖地(布留高庭,御本地などと称する)に2つの神宝が埋斎されていると伝えられていたが、神宝を奉斎するため本殿を建造し1913(大正2)年に完成した。禁足地は今もなお、布留社と刻まれた剣先状石瑞垣で囲まれている。
　拝殿(国宝)は入母屋造,檜皮葺で鎌倉時代初期の建立とされる。仏堂風の外観をもち、貫(柱を貫通する水平材)を多用するなど大仏様の要素がみられる。
摂社の出雲建雄神社拝殿も国宝に指定されており、内山永久寺の鎮守社住吉神社の拝殿を1914(大正3)年に移築したものであるが、1300(正安2)年の建立で桁行5間の建物の中央1間分を土間の通路とした｢割拝殿｣と呼ばれる形式である。
　また、七支刀も石上神宮伝世品で国宝に指定されている。古墳時代の作で両刃の剣の左右に3つずつの小枝を突出させたような特異な形状を示す。金象嵌で記された銘文の中に｢泰□四年｣の年紀があるが、｢泰和｣と解釈して｢太和4年(369年)｣に比定する説があり、その頃の百済での作と推定される。