此词起首二句忆旧游：“与鸥为客，绿野留吟屐。”上言作鸥鸟的朋友，下言此处园林曾留下自己的足迹。姜夔曾以“冷鸥轻燕”寄托自己的归隐之思，鸥鸟作为姜夔笔下经常出现的鸟类意象，它们所体现的绝不仅是归隐之思。透过鸥鸟的意象，可以体味出作者内心的多种情怀：欲隐无路之悲，怀人相思之苦，世事无常之叹。这里“绿野”代指钱氏园林。次二句点明此处园林风光出自钱良臣的手泽。“两行柳垂阴，是当日、仙翁手植。”“垂阴”连系“绿野”，形容风光清雅。“仙翁”指钱良臣，表明此宅来历，绾合词题。以下写园内风光：“一亭寂寞，烟外带愁横。荷苒苒，展凉云，横卧虹千尺。”“带愁”“寂寞”云云景中含情。
换头转入抒情。“才因老尽，秀句君休觅。”自叹年事日增，诗思减退，不必强求佳句，暗用江郎才尽故事，并与开头“吟屐”联串。“万绿正迷人，更愁入、山阳夜笛。”词意继续翻进，由叹老引发怀友。“万绿”迷人，易触发对培植绿色的“仙翁”的追念，更加听到凄切的“夜笛”之声，则缅忆之情力透纸背。接着推进一步，写思旧心绪深沉：“百年心事，惟有玉阑知。”上句包蕴丰厚，可以是宇宙、人生、今昔、存亡。下句“玉阑知”既形象又含蓄，见出白石凭栏默想，久久沉吟。收尾以记述返程归结。“吟未了，放船回，月下空相忆。”“月下”呼应题面，“空想忆”，思绪绵绵，言已尽而意无尽。
全篇上阕侧重纪游，下阕侧重抒感，在写景纪游笔墨中贯注着怀旧忆友之思。词为咏物词，然作者将身世之感融入所咏之物，家国之慨隐然寓于其中。
诗人有时正话反说，把极严肃、极庄重的事情用开玩笑似的风趣笔调抖落出来，使读者在忍俊不禁之余，受到强烈的震撼。此诗便是一例。
刘祁曾介绍此诗的本事说：“麻征君知几在南州，见时事扰攘，其催科督赋如毛，百姓不安，尝题雨中行人扇图诗云云。虽一时戏语，也有味。”（《归潜志》卷九）此诗的高明之处就在于正话反说，本来山东赋税很重，诗人有意反说成“幸自山东无赋税”；本来雨中行人正需要赶路，诗人有意反说成“何须雨里太仓黄”；明明是诗人在这个人世上有满肚皮牢骚需要发泄，却故作镇静，反而责怪这个世上太忙乱了，故画家“画出人来也着忙”。
诗人借题发挥，写作的这类讽刺小诗不少，《归潜志》所载《戏题太公钓鱼图》、《道人》等皆是同一路数，在冷嘲热讽中对时弊给予了尖锐的针砭。林纾曾总结文学史上这类文字的特点说：“凡文之有风趣者，不专主滑稽言也。风趣者，见文字之天真，于极庄重之中，有时风趣间出。然亦由见地高、精神完，于文字境界中绰然有余，故能在不经意中涉笔成趣。”（《春觉斋论文》）准此而言，本诗正是这样一首饶有风趣的佳作。
上片以景情反差的手法，反映了苏轼胸中的忧愁。“挂轻帆，飞急桨，还过钓台路”，写出了苏轼在富春江上轻快行程的生动形态。一个“挂”字，一个“飞”字，有“轻舟已过万重山”之势，形象传神。“酒病无聊，攲枕听鸣舻”，写苏轼醉卧船上的情景。颇似金代元好问《读书山月》“墙东有洿（wū）池，攲枕听蛙鸣”的神韵。“断肠簇簇云山，重重烟树”，情绪一变。以醉眼朦胧中的景物托情，流露出苏轼渺茫的孤独感。“簇簇”、“重重”，将沉郁心绪衬托得十分逼真。“回首望，孤城何处?”用设问手法，进一步渲染苏轼对桐庐山村哪堪回首的忧叹。那是一幅凄苦的生活景象。
下片承上一转，写苏轼欲摆脱愁情而又无可奈何，只得从神话梦幻中去寻找慰藉。“闲离阻，谁念萦损襄王，何曾梦云雨”，写苏轼顷刻离开钓台的沉思，但又被现实阻碍，愁思更加抑郁，人面显得憔悴。有宋代欧阳修《怨春郎》词“恼愁肠，成寸寸，已凭莫把人萦损”的滋味。“旧恨前欢，心事两无据”，不论过去了的旧愁也好，还是昔日的新欢也好，内心里对山村的挂记两不存在。 “要知欲见无由，痴心犹自，倩人道、一声传语”。这一句承承接上面一句，体现出苏轼的挂念之情深入一层。想再一次去看看山村人吧，不大可能了。然而一片痴情依然不改初衷。唯有恳求他人前去捎首词。
全词把欢景与愁情、现实与历史、人世与梦幻、意境与哲理有机地融为一体，思想开放，想象丰富，反映了苏轼的悯民思想，是一篇具有现实主义意义的作品。