942(天慶5)年、開基は定かではないが、天から舎衛国と書かれた旗が降り落ちてきたため、その奇瑞により寺を建立し舎衛寺と命名したとされる。また、旗が堕ちてきたことに因み、別名を旗堕寺と称した。なお、所在地名である城田寺は旗堕寺の転訛したものである。
　1156(保元元)年には後白河天皇の発願により阿弥陀如来と薬師如来が納められたと伝わる。
　1495(明応4)年3月、美濃国守護の土岐成頼の跡目争いを発端として近隣諸国も巻き込んだ船田合戦が勃発するが、石丸利光を中心とする成頼側は敗戦が続き、9月には成頼が斎藤妙純が推す土岐政房に家督を譲り、剃髪して宗安と号し、舎衛寺に隠居して城田館を築いた(城田寺城)。翌1496(明応5)年6月20日、ここ城田寺は後半戦の舞台(決戦地)となり寺は焼失してしまう(城田寺城の戦い)。その後、現在地に再建された。寺前に｢船田合戦終焉の地｣の碑が建つ(合戦の詳細は【B-GF007】参照)。
　本尊の釈迦如来坐像と金銅割五鈷杵が岐阜県重要文化財であるほか、絹本著色妙観察智弥陀像，舎衛寺縁起及び両界念誦次第も岐阜市指定の文化財となっている。