開基は光明皇后または聖武天皇と伝える。創建年は745(天平17)年,747(天平19)年など定かではないが、8世紀の奈良時代であることは確かである。奈良時代には南都十大寺の1つに数えられていた。創建時は金堂,東西両塔などの七堂伽藍が建ち並ぶ大寺院であったが、次第に衰退した。780(宝亀11)年の落雷で西塔が焼失し、いくつかの堂宇が延焼している。また962(応和2)年に台風で金堂以下の主要堂宇が倒壊し、以後、復興はしたものの往時の規模に戻ることはなかった。現在の本堂は様式からみて奈良時代の建築だが、本来の金堂ではなく、他の堂を転用したものである。本尊の薬師如来像は平安時代初期の制作とするのが一般的だが、本堂建立と同時期までさかのぼる可能性も指摘されている。
　1180(治承4)年の平重衡の兵火では、東大寺,興福寺は主要伽藍を焼失したが、新薬師寺は焼け残った。鎌倉時代には明恵が一時入寺し、復興に努めた。現存する本堂以外の主要建物は鎌倉時代のものである。
　平安時代以降は規模縮小したが、国宝の本堂や奈良時代の十二神将像をはじめ、多くの文化財を伝えている。本堂は入母屋造,本瓦葺きで低平な印象の堂である。堂内中央には円形漆喰塗りの仏壇を築き、中央に本尊･薬師如来坐像を安置、これを囲んで十二神将像が外向きに立つ。塑造十二神将立像は12躯のうち1躯(江戸時代末期の地震で倒壊し昭和に補作した宮毘羅大将像)を除く11躯が国宝に指定されている。