伝承によれば、581年に厩戸皇子が賊徒平定を三輪明神に祈願し、平定後、十一面観音を彫り大三輪寺を建立したのが始まりとされ、鎌倉時代初期に慶円上人が中興した。なお、史料に明確に現れてくるのは『弥勒如来感応抄草』の1236(嘉禎2)年以降であり、同書によれば、慶円によって三輪神社の傍らに真言灌頂の道場が建立され、その道場が三輪別所であった。その後、比較的早い時期に平等寺という寺号で呼ばれるようになったとされる。本尊は厩戸皇子御自作と伝える十一面観音秘仏であった。
　鎌倉時代末期から明治の廃仏毀釈までは、三輪明神の別当寺の地位にあった。一方で大和国の他の寺院同様に興福寺の末寺でもあり、また、同時に修験道を伝えていたことから醍醐寺との関係も保持していた。そのため、内部に学衆(興福寺大乗院)と禅衆(醍醐寺三宝院)という二つの僧侶集団が作られ、両者が共存する関係にあった。室町時代中期には、禅衆と学衆が激しく争ったこともある。
　1600(慶長5)年の関ヶ原の戦いの際、島津軍は徳川の軍勢の真っただ中を切り抜けて逃げ、軍勢はわずか80名になった。京都,大阪,吉野に分かれて逃げるなか、島津義弘以下、第一家老の川上四郎兵衛はじめ本部隊の13名が平等寺に落ちのびた。義弘主従はここに70日間逗留し、住職から帰りの舟を買うための銀一貫目を借り薩摩国に帰還した。それから後の島津家は平等寺を大事にし、江戸時代の中頃には三間四面屋根紋付の護摩堂を一寄進で建立し、幕末までの300年間、毎年鹿児島米40石(153俵)とご祈祷料銀5枚を奉納した。
　江戸時代には、興福寺の支配を離れ、真言宗の寺院となりつつも修験道も伝えていた。平等寺は皇室の祈願をするお寺でもあった。また、伽藍配置は、三輪明神の南方に慶円上人開山堂のほか、行者堂,御影堂,本堂,一切経堂など東西500m南北330mの境内地に七堂伽藍のほか12坊舎が存在したとされる。
　明治になり神仏分離の太政官布告により、1870(明治3)年には、大御輪寺,浄願寺と共に三輪神社の神官が管理するにいたり、堂舎は破壊されたが、実際には廃仏毀釈の直後、廃仏毀釈前の平等寺住職･覚信和尚と町内有志18名が塔頭の一部を境内に移し、本尊十一面観世音菩薩,三輪不動尊,慶円上人像,仏足石等を守り、曹洞宗慶田寺住職の梁天和尚が翠松庵の寺号を移し曹洞宗に改宗し法灯を護持した。そして、1977(昭和52)年、三輪山平等寺として再興された。丸子孝法の16年間の托鉢によって伽藍も復元されている。
　山門は再興以前から残っていた唯一の建造物であるが、本堂(座禅堂),鐘楼堂,二重塔(釈迦堂)などは昭和以降の再建である。