寒山常到天台县的国清寺去，和寺里的食堂知事拾得和尚相当契合。拾得常常收拾一些僧众吃剩的菜饭放在巨竹截成的竹筒里面，等寒山来了就让他带回去食用。

寒山来到国清寺，有时在廊下独自踯躅，有时叫嚷着开别人的玩笑，有时候又自个儿望空漫骂，寺里的僧众看到他都觉得很不耐烦，就拿杖棒赶他出去，他总是翻着身子、拍着手、哈哈大笑一番以后才慢步离去。

他的外表看起来就像是一个叫化子：头上戴着桦树皮做成的克难帽子，身上仅以破衣遮体，脚下则踩着一双木屐，面容枯瘦而憔瘁，然而他神韵超脱，出语奇特，说出的话每每深含至理，只可惜人们都不肯用心体会。

他的行为实在是豪放不拘，时常在林间村野和放牛孩子们狂歌大笑，不论别人顺他或逆他，对他好或对他不好，他都悠然自得，亳不在意，如果不是同样具有真性情的人，谁又能认识他的真面目呢？

前则介绍丰干禅师时，曾提到有位闾丘胤任台州刺史，行前得到丰干禅师的指点，说寒山拾得就是文殊、普贤二大士的化身，因此到任后就往国清寺拜访寒山、拾得，寒山、拾得二人以丰干饶舌，从此离开国清寺，再也不曾回来。此后闾氏又往始丰县西境之寒岩参叩，并送衣裳药物。寒山见之，高声唱道：「贼我！贼退！」就看到他缩身进入寒岩的石缝中，又从缝中传出声音道：「敬告你们诸位，各自努力吧！修行的事全在自己！」石缝从此密合，人们从此再也见不到寒山的踪迹。闾氏于是请国清寺的住持道翘帮忙寻找寒山身前的遗物，但是只在林间找到他写在树叶上的词颂，以及在村中人家屋壁上所写的诗词，共得两百余首，乃汇编成集，传诵于世，俾益人心。闾丘胤并作颂赞曰：

「菩萨遁迹，示同贫士，独居寒山，自乐其志；貌悴形枯，布裘弊止，出言成章，谛实至理；凡人不测，谓为狂子。时来天台，入国清寺，徐步长廊，呵呵抚掌，或走或立，喃喃独语，食所厨中，残饭菜滓；吟偈悲哀，僧俗咄捶，都不动摇，时入自耻，作用自在，凡愚难值，即出一言，顿袪尘累；是故国清，图写仪轨，永却供养，长为弟子；昔居寒山，时来兹地，稽首文殊，寒山之士，南无普贤，拾得定是，聊申赞叹，愿超生死。」