寒山寺は、南北朝時代の梁（南朝）の天監年間（502年 - 519年）、武帝の時代に「妙利普院塔院」として創建されたとされる。寒山寺という現在の寺名は、唐代の貞観年間（627年 - 649年）に風狂の人寒山がこの地で草庵を結んだという伝承にちなむ。襄陽出身の張継が、有名な「楓橋夜泊」を詠んだのは8世紀中頃のことである。伽藍の創建は8世紀から9世紀にかけてのことであり、石頭希遷によると伝えられる。全盛期の寒山寺の面積は広大で、巷間で「馬に乗って山門を見る」と言われるほどであった。当時、北方から訪れた旅行者の多くは、まず寒山寺を参詣してから蘇州の市街に入ったという。

　宋代の太平興国初年（976年頃）には、節度使の孫承祐によって7層の仏塔が建てられた。嘉祐年間（1056年 - 1063年）には「普明禅院」と名を改め、1134年（紹興4年）に僧法選によって再建された。

　宋以後は伽藍の盛況をみた寒山寺であったが、元末の1366年（至正26年）、張士誠と朱元璋（のちの太祖洪武帝）の間の戦闘により焼失した。明初の1369年（洪武2年）に恵貞により再建されたが、そののち火災によって再び焼失。正統年間（1436年 - 1449年）に王況鐘が再建し、嘉靖年間（1522年 - 1566年）に本寂が鐘を鋳造している。しかし、明の1618年（万暦46年）に再び火災に遭って堂宇は灰燼に帰した。

　清代にも1711年（康煕50年）、1860年（咸豊10年）に焼失している。1860年の焼失は、太平天国の乱にともなうもので、1876年（明治9年）に寒山寺を訪れた外務卿副島種臣は「楓橋夜泊」をもとに七言絶句のパロディを創り、その巧みさは清の高官を驚かせている。

　現在の寒山寺は、清末の1906年（光緒32年）に程徳全が再建したものであり、それぞれの建物はいずれも比較的新しいものである。

　西の黄色い照壁が境内への入口となっており、中央に大雄宝殿、周囲に鐘楼、鐘房、羅漢堂、碑廊を配している。東側に寒拾殿、東端には普明宝塔があり、東西にやや細長い境内配置となっている。

　日中戦争の戦火はまぬがれており、1940年の日本映画『支那の夜』の挿入歌『蘇州夜曲』でも、寒山寺が登場する。

　中華人民共和国成立後、2度にわたって大改修がおこなわれた。1982年には江蘇省人民政府により「江蘇省文物保護単位」に布告された。1986年には新しい鐘が寄贈され、2005年には重量108トンの大鐘が設けられた。