古人习以钱塘江北岸山称吴山，南岸山称越山，这是因为钱塘江曾为春秋时吴、越两国国界的缘故。元曲家汪元亨即有“怕青山两岸分吴越”（《醉太平·警世》）语。
此曲起首即以吴山越山对举，点出“山下水”即钱塘江的咏写对象，而着一“总是凄凉意”的断语。一个“总”字，将“吴”、“越”、“山”、“水”尽行包括，且含有不分时间、无一例外的意味，已为题面的“怀古”蓄势。不直言“钱塘江水”而以“吴山越山山下水”的回互句式出之，也见出了钱塘江夹岸青山、山水萦回的态势。三、四句以工整的对仗，分别从水、山的两个角度写足“凄凉意”。江为动景，亘古长流，故着重从时间上表现所谓的“今古愁”。山为静物，也是历史忠实、可靠的见证，故着重从性质表述，所谓“兴亡泪”。以“雨”字作动词，不仅使凝练的对句增添了新警的韵味，还表明了“泪”的众多，也即是兴亡的纷纭。作者不详述怀古的内容，而全以沉郁浑融的感想代表，显示了在钱塘江浩渺山水中的苍茫心绪。
大处着笔，大言炎炎，一般都较难收束，本篇的结尾却有举重若轻之妙。“沙鸥”是钱塘江上的本地风光，又是闲逸自得和不存机心的象征。“沙鸥笑人闲未得”，“闲”字可同“今古”、“兴亡”对读，说明尽管历史活动不过是“凄凉意”的重复，但人们还是机心不泯、执迷不悟，大至江山社稷，小至功名利禄，争攘不已；又可与“今古愁”、“兴亡泪”对勘，表现出作者对自己怀古伤昔举动的自嘲。此外，从意象上说，“沙鸥笑人”，也正是江面凄凉景象的一种示现。作者对人世的百感交集，终究集聚到这一句上，自然就语重心长，足耐寻味了。
这支小令怀古伤今，把深沉的兴亡之感，融入到景物描写中。国家兴亡，朝代更迭，历史变迁，物是人非，而山水如故。在千古不变的山山水水中，融入了深厚的历史感，引发人的感慨和感伤。末句“沙鸥笑人闲未得”，用拟人手法，看似轻松诙谐，含义却颇为丰富，别具深意。自然界的生物是那样悠然自得，而人世间则充满忙碌、竞争、劳顿，最终，一切的一切都将归于历史的陈迹。
丰子恺先生在谈中国画的构图问题时，曾经提到“绘图中物体的重量”。他说在一切物体之中，动物最重，动物中又以人为最重；次重的是人造物，如车船、房屋、桥梁等等；最轻的是云烟、山水一类的自然物。所以一幅画中，青山绿水尽可以作为主体，家屋舟车就不宜太近画边；而倘把人物也描在画边，则整幅画一边轻，一边重，就要失却平衡了。清初著名诗人施闰章并不是一位画家，然而他这首描写南京燕子矶的小诗，却仿佛深得了画中三味似的。
“绝壁寒云外，孤亭落照间”这一联起得突兀，仿佛画手只在挥笔之间，就让燕子矶那三面悬绝的气势升腾于纸上了。那陡峭的岩壁，宛如斧劈刀削一般，好不摄人心魄。一抹铅色的“寒云”，盘恒在嵯峨绝壁之间，缥缥缈缈，使这块突出江边的巨岩，显得更加峻拔高远，像险峰一样逼人仰视了。在空阔疏朗的矶顶，诗人还精心描画了一座危亭。它“孤”零零地挺立在落日的余晖中，悄然对水，即衬出了燕子矶的奇绝，又使画面于寒冽中增生了许多暖意。
南京是著名的古都。在这座江浪涌撼的石头城里，不知演绎了多少悲恨和续的历史古事；那六朝的兴废，王谢的风流，秦淮的艳迹，总会引起后世凭临者的悠然遐想，令他们生出些苍凉和凄清的感怀。然而浩瀚的江水，却仿佛对这一切都全然不顾，依然不舍昼夜地匆匆前行。雨后的急流挟裹着飞腾的浪花，拍打着坚硬的矶石。几千年了，江水幽幽好像从没有过多少变化。而江上的白鸥，尽管不知已改换了多少世代，却也还是那样的翩翩闲闲。“六朝流水急，终古白鸥闲”两句为我们勾勒的，正是词家也曾描摹过的“满江急水，几处白鸥”的江上近景。疏劲的笔触中不失优柔之致。赋予了空阔的画境以错落有致的层次感。透过“六朝”，“终古”这些表现悠远时空的字眼，人们虽也感受到了一种历史沧桑的淡淡思绪，但更多的则是“江天物色无人管”式的闲适和自得。
画完了眼前风物，诗人又着意濡染画幅的背景。“树暗江城雨，天青吴楚山”的景象，大约是诗人极目远眺时见到的：一场秋雨过后，石头城里，吴楚一带群山中的树木，都消减了些许绿意。在暮霭中望去，便变得有些幽暗了，然而落照辉映的天空，却要比以往更觉蔚蓝、深邃和美丽。青天绿树的背景，为画幅衬上了清幽明丽的底色。画面中央的绝壁和孤亭，也因此显得愈加朗畅了。
纵笔至此，诗意纯为写生。山水树木等自然物占了画面大部，落照中的“孤亭”（人造物）则占了画面的主位。如果说在这幅画中，山水好比是人的面影，亭台犹如是面上之修眉，那么“矶头谁把钓，向夕未知还”一句，无疑就是这幅画的“点睛”之笔，也是这首诗的“诗眼”所在了。此句一下，整首诗立时变得气韵生动，连静寂的大自然也恍若有情了。在这两句中，诗人勾勒出了一个悠闲的“把钓”者形象；他孤身独坐于燕子矶头，已经很久了，还未曾离去。夕阳西下，暮霭渐浓，他却好像完全没有感觉到一样——只是手把钓竿，默然无语。他是在俯赏悠悠的长流，顾盼翩飞的白鸥，还是在领略青峰、绿树向晚的肃穆和安馨？这是诗中最富于意蕴的一刻，令人感到：无限的时空，连同江、云、鸥、树和远处的石头城，此刻似乎全都凝聚、流散在了这位披着霞彩悠然“把钓”者的竿头了。
《芥子园画谱》中曾说：“山水中点景人物”，“全要与山水有顾盼。人似看山，山亦是俯而看人；琴须听月，月亦似静而听琴。方使观者有恨不跃入其内，与画中人争坐位。”——是的，面对施闰章写就的这样一幅走笔飘逸的画景，谁不想置身其中，而与画中人一“争座位”呢？