寺伝によれば、850(嘉祥3)年、円仁(慈覚大師)が関山弘台寿院を開創したのが始まりとされ、その後859(貞観元)年に清和天皇から｢中尊寺｣の額を賜ったとされるが確かな裏付けが得られず、実質的には、藤原清衡が50歳の時、1105(長治2)年に中尊寺の中興に着手し釈迦如来と多宝如来を安置する｢多宝寺｣を建立したのが事実上の創建とみることができる。
　藤原清衡は後三年の役の後、奥州奥六郡を支配下に収め1089(寛治3)年には陸奥押領使に任命され、1094(嘉保4)年頃には居館をこれまでの江刺郡豊田館から平泉に移している。中尊寺中興は、長年に亘る骨肉の争いや近親者の死を目の当りにした清衡にとって、戦いに明け暮れた前半生を省み戦没者の追善とともに、造寺造仏，写経の功徳により自己の極楽往生を願ってのことであったと推測されている。金色堂は1124(天治元)年に上棟されている。
　1189(文治5)年、奥州藤原氏の滅亡後も鳥羽法皇御願の寺とされ、源頼朝の庇護を得て存続した。当時の中尊寺には金色堂のほかに、釈迦如来,多宝如来を安置した多宝寺、釈迦如来百体を安置した釈迦堂、両界曼荼羅の諸仏の木像を安置した両界堂、高さ三丈の阿弥陀仏と丈六の九体阿弥陀仏を安置した二階大堂(大長寿院)などがあったという。1337(建武4)年に大きな火災があり、金色堂を残してほぼ全焼してしまった。
　1909(明治42)年に本堂が再建。1950(昭和25)年には金色堂須弥壇に800年もの間、安置されていた藤原四代の遺体に対する学術調査が実施された。この結果、中央壇に清衡、右壇(向かって左)に2代基衡、左壇(向かって右)に3代秀衡の遺体(ミイラ)が安置され、右壇にはさらに4代泰衡の首級が納置されていることが判明した。中央壇の遺体の死因は脳溢血等の疾患で左半身に麻痺があったとみられる。右壇の遺体の死因は骨髄炎性脊椎炎、左壇の遺体は壮年期に卒中などの疾患で急死したとみられる。ただ、死亡推定年齢の観点から基衡と秀衡は逆とする見方もある。なお、泰衡の首級桶から発見された種子から発芽し開花した蓮の花が｢中尊寺ハス｣として境内に植えられている。
　現在の境内伽藍には、本堂，金色堂のほか、八幡堂，弁慶堂，地蔵堂，薬師堂，峯薬師堂，不動堂，大日堂，阿弥陀堂，弁財天堂，経蔵，旧覆堂，釈迦堂などが数多くの堂宇が建ち並ぶ。