这首诗由夜游、昼游及感受三部分组成，每部分各占六句。按游览的时间顺序说，是昼游在先，夜游在后，而诗中却将夜游部分置于昼游之前。诗的首二句即从日暮写起，言暮时继续行游，至月夜而泛舟江上。次二句写水面如镜，风波不起。上有月光清朗，下有微波荡漾，水天一色，交相辉映，浸淫在一派闲静轻柔的氛围之中。而“沫”、“涉”二字又透出游者的情态，二字以工整的对仗，表现了主人公在江上纵情嬉戏的欢快情趣。五、六两句写夜行所见的奇异景色以应题。这两句以“竦”字描摹巨石的突起耸立之状，以“倒”字形容飞瀑的倾泻直下之势，仿佛石破天惊，蔚成壮观。以上六句，写出了夜游由陆路到水行，最后抵达目的地的全过程，而所见江水的平静和三山两溪的奇崛又情味迥异，生动地再现了景观的不同风神，可谓摇曳生姿。
“亦既穷登陟”以下六句，以倒叙笔法追忆昼游的所见之景。登山眺览，惟见一片莽莽苍苍的景象。“荒蔼”句为总写，概括了幽僻深杳的总体印象；“窥岩”和“披林”两句则分写山高、林密。重岩叠嶂、树林茂密，以至连天日都仿佛被遮蔽不见了。这里是用夸饰的手法极写环境之艰险，以为下文的张本。接下来“阳乌”两句，为记忆中的白昼游程摄下最后一个镜头：行者披着夕阳的余晖，正在幽深的竹林之中穿越而行。这两句中的“尚倾翰”、“未为邅”，与上两句的“不睹景”、“岂见天”似相牴牾，其实一为记实，一为描写，盖因用笔虚实之不同也。这六句从登山写到返程，最后以“阳乌倾翰”回顾照应到诗的首句，遂以“日垂”为契机，把昼游和夜游、山行和水行连成一气。全诗的写景纪游部分以后一段行程的起点发端，以前一段行程的终点收煞，拦腰说起，首尾承接，不仅使整个纪游部分显得神固气完，而且也使诗的章法布置别开生面，颇有奇观意外之妙。
诗的最后六句抒写感受。诗人由此番登陟的亲身经历，联想到巢居穴处的岩栖之难。巢穴的不蔽风雨固然可忧，然而更可忧的，是没有可以一吐衷肠的知己。这里或指诗人的“方外交”昙隆和法流二法师，这两位友人都是“辞恩爱，弃妻子，轻举入山”而作“高栖之游”的。诗人在《山居赋》中曾说：“苦节之僧，明发怀抱。……虽一日以千载，犹恨相遇之不早。”意谓：朋友相得之欢，一日胜似一千年。志同道合的朋友总是相见恨晚，此日如能同游，应该是十分欢欣雀跃。谢灵运在其吟咏石门的篇什中，每多抒写寂寞之感，如“惜无同怀客，共登青云梯”、“美人竟不来，阳阿徒晞发”等。此诗亦然。诗中的感受既是在登山过程中直接触发的，因而诗人将昼游部分移后，也就不难理解了。因为只有如此才便于使情景相关处连成一体，而避免了将情与景截分两橛的弊病。这种在章法布局上的缜密用意，正是大谢诗惨淡经营的一个重要方面。
古人习以钱塘江北岸山称吴山，南岸山称越山，这是因为钱塘江曾为春秋时吴、越两国国界的缘故。元曲家汪元亨即有“怕青山两岸分吴越”（《醉太平·警世》）语。
此曲起首即以吴山越山对举，点出“山下水”即钱塘江的咏写对象，而着一“总是凄凉意”的断语。一个“总”字，将“吴”、“越”、“山”、“水”尽行包括，且含有不分时间、无一例外的意味，已为题面的“怀古”蓄势。不直言“钱塘江水”而以“吴山越山山下水”的回互句式出之，也见出了钱塘江夹岸青山、山水萦回的态势。三、四句以工整的对仗，分别从水、山的两个角度写足“凄凉意”。江为动景，亘古长流，故着重从时间上表现所谓的“今古愁”。山为静物，也是历史忠实、可靠的见证，故着重从性质表述，所谓“兴亡泪”。以“雨”字作动词，不仅使凝练的对句增添了新警的韵味，还表明了“泪”的众多，也即是兴亡的纷纭。作者不详述怀古的内容，而全以沉郁浑融的感想代表，显示了在钱塘江浩渺山水中的苍茫心绪。
大处着笔，大言炎炎，一般都较难收束，本篇的结尾却有举重若轻之妙。“沙鸥”是钱塘江上的本地风光，又是闲逸自得和不存机心的象征。“沙鸥笑人闲未得”，“闲”字可同“今古”、“兴亡”对读，说明尽管历史活动不过是“凄凉意”的重复，但人们还是机心不泯、执迷不悟，大至江山社稷，小至功名利禄，争攘不已；又可与“今古愁”、“兴亡泪”对勘，表现出作者对自己怀古伤昔举动的自嘲。此外，从意象上说，“沙鸥笑人”，也正是江面凄凉景象的一种示现。作者对人世的百感交集，终究集聚到这一句上，自然就语重心长，足耐寻味了。
这支小令怀古伤今，把深沉的兴亡之感，融入到景物描写中。国家兴亡，朝代更迭，历史变迁，物是人非，而山水如故。在千古不变的山山水水中，融入了深厚的历史感，引发人的感慨和感伤。末句“沙鸥笑人闲未得”，用拟人手法，看似轻松诙谐，含义却颇为丰富，别具深意。自然界的生物是那样悠然自得，而人世间则充满忙碌、竞争、劳顿，最终，一切的一切都将归于历史的陈迹。