法多山尊永寺，医王山油山寺とともに遠州三山の1つ。山号は萬松山。聖観音を本尊とする。また、寺紋は丸に三つ葵である。
　1401(応永8)年、恕仲天誾禅師によって開山され、当初は東陽軒と称した。
　第11代住職の仙隣等膳は小僧時代に臨済寺で、今川義元の人質となっていた松平竹千代(後の徳川家康)の教育を受け持ったことがあった。後に浜松城主となった家康はその時の恩を忘れず、旧交を温めるために等膳和尚を城に招いた。ところが道中の疲れもあり、当時を懐かしむ話をしている最中に、和尚は居眠りを始めてしまった。その様子を見た家康は「和尚我を見ること愛児の如し。故に安心して眠る。われその親密の情を喜ぶ、和尚 、眠るべし」と言い、以来和尚が｢可睡和尚｣と呼ばれたことから、いつしか本来東陽軒であった寺の名も可睡斎となった。
　また、武田信玄が遠江に侵攻した際、家康は武田軍から逃れ、当斎の洞窟に身を隠し命拾いしたという。奥之院手前に｢出世六の字穴｣として残されている。
　このような家康との関わりから、1612(慶長17)年には幕府から三河国･遠江国･駿河国･伊豆国の曹洞宗寺院を管轄する東海大僧録(長官)に任命され、江戸時代には10万石の待遇を受けている。
　1873(明治6)年、秋葉山の神仏分離に伴い三尺坊大権現が遷座され、火防災除の寺ともなっている。
　伽藍としては、本堂(法堂)，開山堂，奥之院，僧堂(坐禅堂)，大黒堂など多くの堂宇が建ち並ぶほか、掛川城主の井伊直好墓所や父の井伊直勝墓所がある。
　また、東側の丘陵には約10万㎢の｢可睡ゆりの園｣があり、150種類・200万本のユリが植えられ名所となっている。