开头两句交待自己与苏州的因缘。平平叙事，颇有民歌风味。读来似乎是庆幸自己因王程之便而得游赏吴中佳胜，实际上却是为下文翻出感慨作势。“王程”二字已微露端倪。
“半世三江五湖掉，十年四泊百花洲”。杨万里于1154（绍兴二十年）中进士，初授赣州司户，继调永州零陵萃，以后历任内外官职，奔走于江湖间，到写这首诗时，已经半世(指一个人的半生)之多；十来年间，因主程所经，曾四次泊舟于百花洲畔。这一联用秀朗工整之笔概括了自己的漂泊羁旅的生活，其中含有身世之感，但调子并不沉重，毋宁说还带有一点悠然自赏的意味。从眼前的胜游回顾半世以来的行踪，从眼前的百花洲联想到所历的三江五湖，时间、空间都延伸扩大了。这一联在对仗上句法上有两个明显的特点，一是多用数目字成对，如“半”对“十”“三”对“四”“五”对“百”；二是上下句的句法并不同(下句的“泊”是动词，与上句的“江”为名词不同，五湖棹与百花洲也有所不同，平仄也不调)。这样一种对仗，表现出诗人的巧思，具有一种轻快流利、拗折错落的美感。
“岸傍杨柳都相识，眼底云山苦见留。”颈联承“四泊百花洲”突出自己对这一带风物的熟悉。明明是诗人认得岸旁杨柳、依恋眼底云山，却故意将景物拟人化，从对面写来，说成是岸旁杨柳都认得自己，眼底云山也依依挽留。这样写，既饶情致，又不落套。诗人对此间风物的深情也更进一层地得到表现，运用移情于物的手法，诗人将主观的情感移到事物上，反过来有用被感染的事物衬托主观情绪，使物我合一，浑然一体。
“莫怨孤舟无定处，此身自是一孤舟。”尾联承“半世三江五湖棹”从眼前泊岸的孤舟兴感，说别再埋怨孤舟漂泊不定，将自己载往三江五湖，要知道，自己原就是一只不系的孤舟。上句先放开一步，下句却透过一层，揭示了事情的底蕴。这个结尾，将“四泊百花洲”所引起的感触与联想凝聚到一点上：身如孤舟，漂泊无定，从而点明了全诗的主旨。
这首词词人移花接木，诗人谙熟前人的诗句风韵，考虑到句式长短、对偶声韵，使这首词词情达意、情思连续，使之如出己口，置身于宽阔寂寥的环境，突出隐逸的主题，同时表达了词人对于荣利的摒弃以及对先哲的崇敬之情。
上片描绘了一幅闲适悠雅的溪桥野渔图。在一片氤氲迷蒙的山岚水雾中，是烟是雨，叫人难以分辨，真是空翠湿人衣。在溪边桥畔，有渔翁正在醉酒酣睡，四周阒无声息，没有人来惊破他的好梦。“疏懒意何长，春风花草香”，这就是杜甫的两句诗“无人觉来往，疏懒意何长”（《西郊》）、“迟日江山丽，春风花草香”（《绝句二首》）的十分熨帖的表现，而且从原作的意境看，也与上片情相合，更重要的是通过这诗句的媒介，使读者感受到杜甫的诗境，这些诗境又反过来丰富了这首词本身的意蕴。从“春风花草香”会使人联想到“迟日江山丽”以至整首杜甫绝句。由联想再回到词意，在“春风花草香”后面，不单是春风花草的幽香，而且是“迟日江山丽，春风花草香。泥融飞燕子，沙暖睡鸳鸯”，美丽的景致让词人沉浸其中，如痴如醉，一幅风光明媚生机勃勃的春天画面。
下片写江山形胜，四时的美景吸引自古至今着无数的隐人逸士。“江山如有待”是杜甫《后游》中的诗句，作者向往大自然的美好，却推开自己不说，而从对面着笔，将自己热烈的感情移植到无生命的江山自然上，通过拟人化的描写，表现“我见青山多妩媚，料青山见我应如是”那种人与自然交流相亲、物我不分的情感意绪，黄庭坚巧妙地移植了这一诗意，将前面“疏懒意何长，春风花草香”词意发展为对自然生活的向往与追求。这时候，作者自然地想到了开隐逸风气的陶靖节先生，又随手拈来了杜甫的另一句诗“此意陶潜解”（《可惜》），使读者想到陶潜返朴归真退居田园的隐逸事迹，将自己对山川自然的企慕之意，又落实到对这位抛弃荣利的田园先哲的景仰上，从而挑出了全词隐逸的主题。“此意陶潜解，吾生后汝期”（杜甫《可惜》），杜甫感叹生不逢时，恨不能与陶渊明同归田园。这首词的最后二句“问我去何之，君行到自知”，是接住杜甫诗意，表明自己的态度，他不学杜甫的感慨而是步先哲的后尘。词人决心归隐，但到底去何方，是山野，是林莽，是田园，却无可奉告，不过如随之而去，一定会明白他的踪迹。这二句诗句在这首词里，贯串下面的情志意趣，结束得非常工稳，飘逸而含蓄。
整首词虽连缀前人诗句而成，但是主题集中，联系紧密。上下相承有序、言近而旨远，凭着自己的诗才学力，通过精心的构思安排，却创造出比原句更高的美学价值。这篇词是集句词的代表词作。
古人习以钱塘江北岸山称吴山，南岸山称越山，这是因为钱塘江曾为春秋时吴、越两国国界的缘故。元曲家汪元亨即有“怕青山两岸分吴越”（《醉太平·警世》）语。
此曲起首即以吴山越山对举，点出“山下水”即钱塘江的咏写对象，而着一“总是凄凉意”的断语。一个“总”字，将“吴”、“越”、“山”、“水”尽行包括，且含有不分时间、无一例外的意味，已为题面的“怀古”蓄势。不直言“钱塘江水”而以“吴山越山山下水”的回互句式出之，也见出了钱塘江夹岸青山、山水萦回的态势。三、四句以工整的对仗，分别从水、山的两个角度写足“凄凉意”。江为动景，亘古长流，故着重从时间上表现所谓的“今古愁”。山为静物，也是历史忠实、可靠的见证，故着重从性质表述，所谓“兴亡泪”。以“雨”字作动词，不仅使凝练的对句增添了新警的韵味，还表明了“泪”的众多，也即是兴亡的纷纭。作者不详述怀古的内容，而全以沉郁浑融的感想代表，显示了在钱塘江浩渺山水中的苍茫心绪。
大处着笔，大言炎炎，一般都较难收束，本篇的结尾却有举重若轻之妙。“沙鸥”是钱塘江上的本地风光，又是闲逸自得和不存机心的象征。“沙鸥笑人闲未得”，“闲”字可同“今古”、“兴亡”对读，说明尽管历史活动不过是“凄凉意”的重复，但人们还是机心不泯、执迷不悟，大至江山社稷，小至功名利禄，争攘不已；又可与“今古愁”、“兴亡泪”对勘，表现出作者对自己怀古伤昔举动的自嘲。此外，从意象上说，“沙鸥笑人”，也正是江面凄凉景象的一种示现。作者对人世的百感交集，终究集聚到这一句上，自然就语重心长，足耐寻味了。
这支小令怀古伤今，把深沉的兴亡之感，融入到景物描写中。国家兴亡，朝代更迭，历史变迁，物是人非，而山水如故。在千古不变的山山水水中，融入了深厚的历史感，引发人的感慨和感伤。末句“沙鸥笑人闲未得”，用拟人手法，看似轻松诙谐，含义却颇为丰富，别具深意。自然界的生物是那样悠然自得，而人世间则充满忙碌、竞争、劳顿，最终，一切的一切都将归于历史的陈迹。