1371(建徳2)年、この地の奥山朝藤が開基となり後醍醐天皇の皇子無文元選を開山として創建された。元選禅師は、かつて訪れた中国の天台山方広寺の風景に似ていることから、この寺を方広寺と名付けた。幾度となく火災にあって伽藍は消失したが、復興を遂げ、現在は七尊菩薩堂,大本堂,半僧坊真殿,開山堂などが建つ。七尊菩薩堂は1401(応永8)年建立で、静岡県では最も古い木造建築とされ、国の重要文化財でもある。
伝えによると、この寺に祀られる半僧坊権現は、無文元選禅師が中国より帰国の折に東シナ海で台風に遭遇し、船がいまにも難破しそうになったとき、船首に法衣を着て袈裟をまとって現れた。そして、禅師を無事に故国にお送りし博多の港に導き、姿を消された。禅師が方広寺を開かれたとき、再びその姿を現し、禅師に弟子にしていただきたいと願い出ると、禅師は「汝はそのままで半ば僧である」と弟子になることを許されたという。その後、修行に励み、禅師が亡くなられた後も方広寺を護る鎮守として祀られた。
　1587(天正15)年には後陽成天皇の勅願所となり､江戸幕府からは朱印状が与えられている。明治に入り臨済宗南禅寺派に属していたが、1903(明治36)年に独立して臨済宗方広寺派の本山となった。
　また、境内各所には五百羅漢の石像が安置されている。これは宝暦年間に拙巌和尚が、大蔵経を読んでいるとき、五百人の羅漢さまが仏法を護り伝えるという記述を読み、また、開山無文元選禅師が、かつて中国の天台山方広寺で修行中、石橋にお茶を献じられたときに羅漢さまが姿を現されたという故事などにちなみ、当山に五百羅漢の石像を安置することを発願された。1770(明和7)年に500体の羅漢さまが安置され、現在も羅漢さまの寄進が続いている。