『扶桑略記』等によれば、天武天皇の皇子で27歳で早世した草壁皇子の住んだ岡宮の跡に義淵僧正が創建したとされる。この時、同時に龍門寺なども建立された。本尊は日本最大の塑像である如意輪観世音菩薩(如意輪観音)。
　現在の寺域は岡山の中腹に位置するが、寺の西に隣接する治田神社境内からは奈良時代前期にさかのぼる古瓦が発掘されており、創建当時の岡寺は現在の治田神社の位置にあったものと推定されている。
　また、義淵がこの地の民を苦しめていた悪龍を当寺の池(龍蓋池)に封印して石で蓋をし、悪龍の厄難を取り除いたという伝説があり、寺号｢龍蓋寺｣の所以になっている。当寺は｢日本最初の厄除け霊場｣となり、鎌倉時代にはすでにその信仰が広まっていた。義淵は法相宗の祖であり、法相宗の興福寺の末寺であった。義淵の門下には東大寺創建に関わった良弁や行基などがいた。江戸時代には長谷寺化主(住職)の法住が入山して当寺を復興し、中興第一世となって以降、長谷寺の末寺となって真言宗豊山派に属している。
　仁王門は1612(慶長17)年の再建、本堂は1805(文化2)年の再建で本尊の塑造如意輪観音坐像を安置する。開山堂，古書院，楼門，鐘楼なども江戸時代の建立,再建である。三重塔は1472(文明4)年に転倒し、1986(昭和61)年に再建されている。