这首诗分入山和出山两个片断来写，而以访惠勤、惠思贯穿连缀。
首起点出时间地点。二僧结庐孤山，孤山在西湖边，所以诗从西湖展开，说自己在一个昏沉欲雪的日子出行，见到西湖上空满积着阴云，低低地压着湖面，西湖边上的楼台与重重叠叠的青山，笼罩在烟雾之中，若有若有。这样，抓住气候特点，略加点染，展现了一幅光线黯淡的水墨图，朦朦胧胧。接着，诗人眼光从远处拉回，写近处山中，水流清浅，人迹不到，只有鸟儿啁哳宛啭。虽是近景，因为极静，又显出了山的幽深。同时水清、有人，又与节令、气候相关。
以下诗入题，写访僧。先写未见僧人所居时，说明自己腊日不和妻子儿女团聚，特地入山访僧，是为了陶冶性情，自我娱乐。僧人住在山中，山路盘曲纡回，正是自己想去的地方。“纸窗”二句，写见到僧人所居后。僧人所居只是纸窗竹屋，僧人则拥褐而坐。轻轻点染，写出景物的幽旷与僧人淡泊的生活，揭示了僧人高尚的品藻；诗人访僧的经过，与僧人的交谈，就隐藏在会心之处，不写而写了出来；同时，自己此行的目的已经达到也是不言而喻的了。
“天寒”句起写回程。天寒路远，所以天未晚就回家。不说是自己要回去，而说是由于僮仆相催，又点出自己与二僧谈得很投机，依依不舍。出山一看，只见云木回合，野鹘盘旋在佛塔之上。云木合，说雪意更浓，垂暮光线更昏暗，树木隐在迷雾之中；野鹘盘空，又在迷离之中点染一二清晰之景，使画面饶有深趣。这一景色，与起首四句相呼应而不重复。
结末四句，写到家后的感受。“欢有余”应接前“实自娱”而来，说明不虚此行，游之乐及游之情都表达了出来，自己的人生观及僧人的清净有为也得到了再次肯定。而火急作诗，更加深了自己的欢快感。“作诗火急追亡逋，清景一失后难摹”，不仅写了自己的心情，也是苏轼文学创作观形象的表达。苏轼作诗强调敏捷的观察力及翔实的表达能力，善于捕捉一瞬间的情感与景物，这首诗也正体现出他的创作特色，从各个角度描绘出景与情所具有的独特的诗情画意。
此诗的用韵也显示了苏轼诗娴熟的技巧。诗除了少数几句隔句用韵外，通首一韵到底，音节畅美自然。清纪昀批说：“忽叠韵，忽隔句韵，音节之妙，动合天然，不容凑拍，其源出于古乐府。”其中“孥”、“遽”等字都是险韵，尤为难得。
这首诗通过写雨映寒空，山深树幽，倚楼眺望的一幅水墨画，运用白描手法，描绘出一幅江南水墨图。
第一句写秋日“微雨”，一个“映”字，十分贴切地抓住了自然景物的特征。如果是春日微雨，它弥漫一片，有如云雾，那是不可能与天空相“映”的；而初夏烟雨，无边无际，将远处的一切都裹了起来，就更谈不上与天空相“映”了。只有在秋天，这“无点亦无声”的仿佛透明的雨丝，才具备这个特点。因此，从“雨映寒空”入手，再用“半有无”加以细致描写，就细致真切地传达了秋日微雨之神。至于在“空”前着一“寒”字，则是为了表现秋雨生寒的清冷之感，其中并不包含诗人的主观情绪。
次句写“登城”。“重楼闲上”即“闲上重楼”。这个“闲”字既表明诗人并非第一次登临此处——那样会心情迫切，不会着一“闲”字；又暗示他亦非劳人迁客——那样会侘傺无聊，不可能“闲上”。而主要的，还是点出诗人时有余暇，心自安闲，尽可慢慢欣赏这秋雨中的秋山景色。
第三句诗人纵目野望，诗人用一句诗进行了概括：“浅深山色高低树。”天高气清，列岫千重，或近或远，或苍或黛，各有“浅深”；而山上树木则颇为混茫，无可分辨，但见层层树丛，“高低”不等而已。“浅深”“高低”，写出了秋山的淡远之境。
这景色是诗人从未发现过的，他显得更加兴致勃勃。他在反复的玩味之后，终于豁然开朗：展现在眼前的这“浅深山色高低树”，正像“一片江南水墨图”。它空灵清逸，萧疏淡远，只有水墨画才有这种意境。以前他从未欣赏到的美，此刻却悠然心会，于是感到十分惬意。所以这最后一句就不止是一个精致贴切的比喻，而是饱含了极度愉悦之情。
“浅深山色高低树”和“一片江南水墨图”之间的比喻关系也很有意味。上句是实景，为了用水墨图比拟，诗人有意避开色彩，仅用“浅深”二字加以形容；下句则是虚拟的意象，虽是虚拟，却又极为细致，“水墨图”前着以“江南”二字，“山色”的清逸潇洒之致，就给读者留下了想象的余地。这样由实入虚，虚实相生，虽无细腻的景物刻画，却更能显示景物的绰约多姿，更能引发读者悠远的联想。
“毗陵”，《汉书·地理志》会稽郡县毗陵。注：季扎所居延陵，汉改之。《宋史·地理志》两浙常州毗陵郡。宋置常州毗陵郡，属江苏。
“竹深”两句，应题。即席绘出丁园中的主要景色：竹林。此言园中一大片幽深茂密的竹林拦住了夕阳光，似乎想把夕照美景留住，不肯放它轻易过去。横放斜插的竹枝、竹叶，形成了庞大的阴影，笼罩了林旁的小池塘。“断莽”三句，叙园外之景。此言丁园四周空旷平坦，远处一缕孤烟在地平线上袅袅飘升；浅浅的河水上浮动着败草残叶，这种景色只有深秋季节才能般配啊。“断莽平烟”句，有王维“大漠孤烟直”的意境。“荒亭”三句，复述园景。言园子里那个荒凉的亭子由于要在那里设宴，所以刚刚才打扫好。秋深风紧，我们正好借酒暖身。但是眼前已不再是早春时来过的景色了，所以没有了“满园春色关不住”的感觉。从此处可知“丁园”是词人常游之地。“障锦”两句，写挡风的围屏。主人用织锦屏风围着“荒亭”，就阻住了西风的肆虐，见那屏风上面一半绘着美人歌舞图，一半书写有龙飞凤舞般的题辞。从词人对屏风中景致的描述来看，可知“丁园”的主人也是个风雅中人。上片描述“丁园”的内外景色。
“独游”三句，从眼前的聚宴联想开去。此言如果是孤零零的一个人来此的话，那游乐的兴趣就会很快消失；又如果园中的景点太多，也会使人感到眼花缭乱而无所适从；并且走马观花般的匆匆游览，又会使人觉得乐趣似乎太短促些了。三句既照应词题“两别驾招饮”，解决了词人的孤独感和时间上的短促感；又赞美了丁园的景点设置恰到好处。“柳下”三句，述宴中情景。“交车”（或“停车”），似为下象棋，南宋时象棋已风行。“云根”，为园中一假山也。此言在宴饮时，既可以闲适地坐在柳树下，车将、炮跳地下象棋；又能不时回来亭上帽饰交擦互相敬酒；还能够与友人一起出没在假山中间，一笑解千愁。“秋香”三句，由园景生发，宕开一笔，插叙时令。此言秋天的菊花还未凋残，而秋风秋雨已经静悄悄地光临西城。在亭中饮酒的客人（即词人）也被西风不知不觉地吹歪了帽子。“背月”两句，宴散乘舟回家也。因丁园地处城西（从“风雨西城”可知），所以词人在一夜欢宴后，背向着西坠的月亮乘舟而归，只听见群鸦已在两岸的树上迎着朝霞聒噪了。结句呼应词题中“招饮”，词人尽兴而归矣。且“溪树晓”又与首句“斜阳度”遥接，点明这是作通宵之宴也。
