南宋咸淳元年（1265）的夏天，凈法禪師化緣在冠山造了一座簡易的庵廟，取名為“西隱庵”，以示自己隱居于蕭山之西的意思。后西隱庵擴建，改稱“云巖寺”。
當時，寺西有“西方殿”，寺前有“雪心池”。北宋詩詞大家秦觀（秦少游）曾經攀著“丹梯”，上到冠山上的蓬萊閣題了一首詩：“路隔西興三二水，門
臨南鎮一千峰?！?
據清朝來禹志《冠山志》稱：舊時冠山寺有天王殿、大雄寶殿、三圣殿，還有藏經閣、蓬萊閣、天鳳閣、議法部、鼓樓、鐘樓、普濟亭、白云堂、客堂等建筑。尤其是經過宋、元、明、清歷代修繕，這里更是殿閣宏偉，僧侶云集，香火、游客不絕。冠山寺在清晚期達到鼎盛，有僧人300余人。
寺區內古木參天，松翠竹秀，山青水綠，風景秀麗，還有乳泉、龍頭滴水、雪心池、三友軒、涵虛亭、分翠亭、凈山茶莊等名勝古跡，寺周圍巖壁上現有蕭山僅存的摩崖石刻7處，歷代精刻的“鵝”、“洗心池”、“洞天一品”、“對奕”、“清可（天臺國農題）”和“黃道人畫”的畫像石等，為佛教十三法相地之一。冠山禪寺之所以興盛，主要得益于明清長河做官人的鼎力相助，并留詩作。