寺伝では、厩戸皇子が伊勢神宮への参拝の際にこの地で自ら6尺1寸の薬師如来座像を刻み、創建したと伝えられているが、定かではない。
　かつては度瀬山とも言われたため、平安時代に書かれた『続日本紀』に登場する｢度瀬山房｣という寺がおそらくこの一乗寺であろうという説もある。神山の山頂に登ると南北朝時代には神山城があり、1343(興国4)年の神山城の戦いでこの寺も仁木義長らの攻撃で焼失した。1470(文明2)年には再建されたが、1816(文化13)年にはまたも火災に見舞われた。現在の建物は1836(天保7)年に再建されたものである。
　伊勢国司北畠氏による神山一乗寺制札が松阪市の指定文化財となっている。