大化の改新時の右大臣である蘇我倉山田石川麻呂によって創建され、643年にまず金堂が完成した。しかし、649(大化5)年3月21日､蘇我日向によって石川麻呂の中大兄皇子暗殺計画が密告され､石川麻呂は､3月24日､難波宮を脱出して長男の興志が造営中の本寺へ入り､翌日､妻子8人とともに仏殿で自害した。その後、石川麻呂の孫に当たる持統天皇たちの尽力で、676(弘文5)年に塔が完成し、のちに講堂が建立された。
　伽藍配置は､南から南門,中門,塔,金堂,講堂が一直線上に並び、塔と金堂とを回廊が囲み、講堂は回廊の外にある。
　1982(昭和57)年倒壊したままの状態で発掘された東面回廊の一部は、日本最古の建築遺構である。また、1996(平成8)年度調査では、南回廊連子窓が発見されている。
　678(弘文7)年鋳造の講堂に祀る丈六薬師仏は、1187(文治3)年、興福寺僧兵により強奪され、現在は興福寺宝物館に収納されている。