首句“两竿落日溪桥上”，点明时间和地点。时间是“两竿落日”，则既非在红日高照之下，也非在暮色苍茫之中。在读者眼前展开的这幅画中的光线和亮度是柔和宜目的。地点是“溪桥上”，则说明诗人行吟之际，既非漫步岸边，也非泛舟溪面，这为后三句远眺岸上柳影、俯视水上绿荷定了方位。
诗的次句“半缕轻烟柳影中”，写从溪桥上所见的岸柳含烟之景。诗人的观察极其细微，用词也极其精确。这一句中的“半缕轻烟”与上句中的“两竿落日”，不仅在字面上属对工整，而且在理路上有其内在联系。正因日已西斜，望中的岸柳才会含烟；又因落日究竟还有两竿之高，就不可能是朦胧弥漫的一片浓烟，只可能是若有若无的“半缕轻烟”；而且，这“半缕轻烟”不可能浮现在日光照到之处，只可能飘荡在“柳影”笼罩之中。
这前两句诗纯写景物，但从诗人所选中的落日、烟柳之景，令人感到：画面的景色不是那么明快，而是略带暗淡的；诗篇的情调不是那么开朗，而是略带感伤的。这是为引逗出下半首的绿荷之“恨”而安排的合色的环境气氛。
诗的三、四两句“多少绿荷相倚恨，一时回首背西风”，写从溪桥上所见的荷叶受风之状。这两句诗，除以问语“多少”两字领起，使诗句呈现与所写内容相表里的风神摇曳之美外，上句用“相倚”两字托出了青盖亭亭、簇拥在水面上的形态，而下句则在“回首”前用了“一时”两字，传神入妙地摄取了阵风吹来、满溪荷叶随风翻转这一刹那间的动态。在古典诗词中，可以摘举不少写风荷的句子，其中最为人所熟知的是周邦彦《苏幕遮》词“叶上初阳干宿雨，水面清圆，一一风荷举”几句。王国维在《人间词话》中称赞这几句词是“真能得荷之神理者”。而如果只取其一点来比较，应当说，杜牧的这两句诗把风荷的形态写得更为飞动，不仅笔下传神，而且字里含情。
这里，诗人既在写景之时“随物以宛转”（《文心雕龙·物色篇》），刻画入微地曲尽风荷的形态、动态；又在感物之际“与心而徘徊”（同上），别有所会地写出风荷的神态、情态。当然，风荷原本无情，不应有恨。风荷之恨是从诗人的心目中呈现的。诗人把自己的感情贯注到无生命的风荷之中，带着自己感情色彩去看风荷“相倚”、“回首”之状，觉得它们似若有情，心怀恨事，因而把对外界物态的描摹与自我内情的表露，不期而然地融合为一。这里，表面写的是绿荷之恨，实则物中见我，写的是诗人之恨。
南唐中主李璟有首《摊破浣溪沙》词，下半阕换头两句“细雨梦回鸡塞远，小楼吹彻玉笙寒”，历来为人所传诵。王国维在《人间词话》中却认为，这两句不如它的上半阕开头两句“菡萏香销翠叶残，西风愁起绿波间”，并赞赏其“大有众芳芜秽，美人迟暮之感”。而原词接下来还有两句是：“还与韶光共顦顇，不堪看。”这几句词以及王国维的赞语，正可以作杜牧这两句诗的注脚。联系杜牧的遭遇来看，其所表现的就是这样一种芳时不再、美人迟暮之恨。杜牧是一个有政治抱负和主张的人，而不幸生在唐王朝的没落时期，平生志事，百无一酬，这时又受到排挤，出为外官，怀着壮志难酬的隐痛，所以在他的眼底、笔下，连眼前无情的绿荷，也仿佛充满哀愁了。
《庄子》《列子》二书中都记有这样两个有趣而发人深省的故事。一说，列御寇为伯昬（昏的异体字）无人射，列子技艺精湛，手平如砥，甚至能放一杯水在肘上，箭方去而未至靶，杯水又重新落到肘上。然而伯昬无人说“是射之射，非不射之射也”。于是他“登高山，履危石，临百仞之渊，背逡巡，足二分垂于外”，列子惊怖，伏地汗流至踵。伯昬无人就说：“那些与天道同一的至人，上窥青天，下潜黄泉。挥斥八极，神气不变。现在你害怕得直瞬眼睛，可见你内心未明自然之理，不够充实啊。”另一则故事说孔子观乎吕梁，悬瀑三十仞，流沫三十里，连鼋黾鱼鼈之属都不敢过，然而却有一个男子在其中戏水，孔子以为他想自杀，命弟子去岸边救他，那人却上了岸，披发而歌，游于塘下。孔子问他：“游泳有“道”没有？”那人回答：“并无所谓道。只因从小生长于水边，所以能安于水。唯因顺从水之道而无我见存在，所以下水就能不知其然而然，与水化为一体。”这两个故事，曾被历代诗人无数次地运用过，但是却很少见有人能像谢灵运《富春渚》诗这样，用得如此灵活而贴切。
别过了始宁故宅，灵运又浮舟西南行，进入桐庐富阳县境的富春江。富春江有两个特色，一是清，二是险。梁吴均《与宋元思书》曾状其景：“水皆缥碧，千丈见底；游鱼细石，直视无碍；急湍甚箭，猛浪若奔。夹岸高山，皆生寒树，负势竞上，互相轩邈，争高直指，千百成峰。”正写出了这两方面的特色。山水是自然形态的东西，而以之入诗文，则不可避免地染上作者的主观色调。既清且险的富春山水，在卓荦不羁的吴均眼中合成了自由竞荣，勃勃生气的清奇，所谓“奇山异水，天下独绝”。在游子羁旅的孟浩然笔下则是“野旷天低树，江清月近人”，一片清怨；然而在刚为险恶的政治风浪抛掷出来，恃才傲物，一肚子不合时宜的谢客眼中，则是另一番景象。
夜中，诗人渡过了富春东三十里的渔潭浦，清晨舟抵富阳城外。六七十里外的定山、赤亭山是富春名胜，但诗人并不往游，只是向峰顶那缅渺的云雾远远一望，又匆匆驶去。起四句连下“宵济”，“旦及”、“无淹薄”三字，可见富春秀色，此时对意兴索寞的诗人来说并引不起多大兴趣，而远山上那萦青际白的云雾，似乎正象征着他不绝无尽的愁绪。忽然水势突变，逆流而上，惊浪急湍撞击着去舟；而崖岸曲折，参差凹凸，更处处阻遏着行程。这景象真是惊心动魄，诗人自己也不知如何飘过了这一段险泷，不禁深自庆幸：尽管自己并没有伯昬无人那种履险若夷的定力，却竟然如吕梁男子般惊险地闯过了这难关。待得惊魂稍停，他倒是悟出了一条至理。《易·习卦》：“水洊至习坎”，《艮卦》又说“兼山，艮，君子以思，不出其位”，“艮其止，止其所止”。意思是，虽有重险悬绝，而水仍相继而至，这是因为水性已习惯了山坎的缘故。艮即止义，两山相重，正象征着止息之义，君子当因此而引起思索，行于所当行，止于所当止，不要越过了自己的本位。《易》象正揭示了刚才经历凶险一举的内在含义。如果自己真能像伯昬无人与吕梁丈夫一样，内心元气充实，与自然合一，完全忘掉物我、利害、险夷之间的差别，顺乎自然之理，使行动与之不期而合，那么虽然多历风险，也可达到履险若常的境地。推而广之，生活亦正同于行舟，也当顺应自然之理，那么对不久前经历的仕途风波正不必如此耿耿于怀，怨天尤人。自己平生之志本在幽栖养生，二纪之前只因意志薄弱而出山，从此就困顿于世俗之事。希求为入仕干禄已过久了，直至今天总算有了机会实现对友朋许下的远游轻举的诺言。想到这里，诗人感到蛰伏已久为世事蒙蔽的宿愿渐渐得到了舒展生发，顿时眼前的万事就如枯叶朽枝般零落不足道了。思念及此，诗人感到胸怀开张，心地光明，就如庄子所说的神明虚空无所怀的神人一样，忘掉了自身存在而任物推移。从此就只要如那蛰伏以存身的龙蛇，以屈而求伸的尺蠖那样与世委蛇，善养天年就是了。
经过了富春渚后，谢客其实没有真能如诗中所说那样达到超人的境界。甚至就在浮江之际，他恐怕也未曾真正获得心理上的平衡。诗中所言，充其量，也只是即景生想，从理念的观照中得到一种感情的宣泄，这在谢诗其他各篇中不难看到。然而就作诗时一刹那间的感触而言，他却确实达到了情景理的圆融无碍。
全诗实分三个层次，前六句纪行写景；“平生”以下的最后八句是对自身人生道路的检讨与悟参。二者之间本不相涉，但却因中间四句的四个典故而连成了一体，这四个典，尤其是前面《庄》《列》二典用得十分巧妙。舟行富春山水际，而伯昬一典为山、吕梁一典为水，联想十分自然，且同用《庄》《列》更十分工致。山，水之典甚多，不用其它，而偏用这两个，则是因它们既在形象上深切富春山水的凶险，又暗蕴所以能履险若夷的理念。这个理念在诗中是用“亮乏”、“险过”的形式反说的，更切当时诗人的实感。由反到正，则再接用《易经》中一水一山两典，从而顺理顺章地引出了以下对生活历程的检讨。诗歌用典，从诗骚起即有，建安以后更渐成风气，但是用得典雅、精严，炉锤工致，成为作诗一大法门，却不能不说自大谢始，当然由此也带来了谢诗有时稍嫌晦涩之病。得失二方面在此诗中都反映得甚典型。这又是陶、谢诗风的一大区别。
词云：“细数十年事，十处过中秋。”其实他是“十二年间十处见中秋”，在《吴船录》中他确是“细数”过中秋的十处地点。想起以往十处中秋情景，就为此夕提供了一个对比的对象。此夕如何？“今年新梦，忽到黄鹤旧山头。”“新梦”，未曾料到，下以“忽到”照应，并传达了惊喜之情。“黄鹤旧山头”指黄鹤山，传说仙人王子安曾乘黄鹤过此，故名。中间嵌以一个“旧”字，似有这样意味：昔人已乘黄鹤去，此日他来仙地游，然则他也是仙矣，他之“新梦”、“忽到”，不也像乘黄鹤飘然而来吗？同时他写的《鄂州南楼》诗道：“谁将玉笛弄中秋，黄鹤飞来识旧游。”也有此意味。“老子个中不浅，此会天教重见，今古一南楼。”此地不仅是仙地，还留有历史遗迹。东晋庾亮镇守武昌时，曾在秋夜登上此处的南楼，与僚属吟咏谈笑，高兴地说：“老子于此处兴复不浅。”（《世说新语·容止》）显然这里以庚亮作比，又是重演九百年前的南楼会啊。“江山留胜迹，我辈复登临。”后人登临前人的旧地，除历史沧桑感外还会由仰慕而生出自豪感，古人做到的事我也做到了，何况作者此时地位亦复与庾亮不相上下。所以他也说：“老子于此兴复不浅也！”“星汉淡无色，玉镜独空浮。”因为“天无纤云”，月明星稀，更显出那轮明月（玉镜）的明亮，它的亮色掩住了一切背景，使得它就象悬浮于空际一样。这两句是对月色的描写，不仅写出了“月色甚奇”，同时也写出了自己的怡情。“玉镜独空浮”，他的神思全然贯注到这轮明月上了，“独”，既表示了月在天际的存在，也表示了月在他心中的存在，他也要跟月一道“浮”了。大凡如此月夜，人们凭高望月，每每会生出超凡脱俗之感，何况在这仙迹胜地呢。写到这里，可以回答：“今夕如何”，真是平生少遇啊！
下阕仍写月色。“敛秦烟，收楚雾，熨江。”视野更开阔了。“秦”，泛指江北以外的地方，“楚”，指江汉一带。江北江南，长烟一空，皓月当空，月下的江流就象一匹熨平的白练，这景象又是多么柔美。“熨”字下得神奇，又十分生动，使人想起那种平滑之状，与苏轼“惟有一江明月碧琉璃”（《虞美人·有美堂赠述古》）的比喻有异曲同工之妙。正当他神思飙举、游思漫疏之际，忽然清醒过来，面对现实：“关河离合，南北依旧照清愁。”“离合”，这里用作偏义复词，意分裂。眼下情况仍然是：山河分裂，月光仿佛笼罩着无边的“清愁”。这“清愁”，既可以看作是作者的，也可以看作是当夜南北许多像作者这样满怀忧国之情的人的下样望月的人的。这两句是情绪的陡转，但也是有来路的。前面的“秦烟”、“楚雾”已暗示作者在放眼北南两方，就有可能产生河山之异的感触；起拍的“细数十年事”也有这样的内蕴，“十处过中秋”就有一处是在使金途中于睢阳过的，自在此时联想之中。注意句中的“依旧”，可指靖康之后，也可指自使金以后的八年。下面又联想到自己的身世：“想见姮娥冷眼，应笑归来霜鬓，空敝黑貂裘。”姮娥“，即嫦娥。”空敝黑貂裘“，用苏秦事。苏秦游说秦王，”书十上而不行，黑貂之裘敝，终无成而归“（见《战国策·秦策》）。貂裘敝，形容奔走不止，穷困僚倒。
作者此时五十二岁，想起十多年间迁徙不定，“不胜漂泊之叹”（《吴船录》）。“归来”，指此次东归。这里借嫦娥嘲笑，抒发了自己华发已生、而功业无就的感慨，也流露出作者倦于风尘游官的心境。这与苏轼的“多情应笑我、早生华发”同，而与辛弃疾的“把酒问姮娥，被白发欺人奈何”（《太常引·建康中秋》）异。辛词是主动问姮娥，向白发挑战，表达了作者强烈的进取精神。辛词作于淳熙元年，当为成大所知，只是因经历、心境不同，面对同样的中秋明月而产生了不同的情思。“酾酒问蟾兔，肯去伴沧洲？”“蟾兔”指月亮。“沧洲”，退隐之地，此指故乡。《吴船录》谓：“余以病丐骸骨，傥恩旨垂允，自此归田园，带月荷锄，得遂此生矣。”此次东归他是打算退休的。
写这首词的四年前他在桂林写的《中秋赋》有这样的话：“月亦随予而四方兮，不择地而婵娟。……知明年之何处兮，莞一笑而无眠。”那时心情是激动兴奋的，现在乘舟东下，鲈乡在望，心情自是不同。举酒邀月，结伴沧洲，写出了他的向往，写出了他的思想上的清静，前面时事、身世引起的忧虑不安消泯了，他又可以尽心尽情地赏月了。
这首词的下阕也表现作者对国家分裂的哀怒，对岁月虚度的惋惜，统观全词，看来主要还是抒写自己赏月时的淋漓兴致和暂释官务的快慰。所以起笔便以“十处过中秋”起笔，又从神话、历史故事中生出丰富的想象，神气超怡，心胸高旷，以致后幅万里归来的痕乏也未影响它的情致。这首词的意境是豪放、阔大的，风格飘逸潇洒，语言流畅自如，可以看出它受到苏轼那首中秋同调词的影响。