大化の改新のときに左大臣に登用された安倍倉梯麻呂の氏寺として、645(大化1)年に創建されたと伝えられている。当時は安倍山崇敬寺と称した。仲麻呂屋敷と呼ばれている方形の土壇と、その南北に長い土壇、東方土壇の西北に三角形の土壇が遺存する。1965(昭和40)年の発掘調査の結果、主要伽藍配置が明らかになった。伽藍の配置は西に塔、東に金堂、北に講堂を置く法隆寺式で、回廊は講堂に取り付くとみられる。仲麻呂屋敷は15㎡の塔跡で、その西に接して幅5mの基壇があり、塔の北約20mのところで東に曲がっていることが確認され、塔跡の西約60mのところで南北方向に2列の柱穴列も発見された。
　平安時代末期に多武峰の妙楽寺(現･談山神社)の僧兵によって焼き討ちされ全焼した。その後、鎌倉時代に拠点を崇敬寺智足院の別院･満願寺に移して再興されたのが安倍文殊院である。