这首诗的前四句是说，诗人在江北孤身流浪，了无乐趣。日落薄暮时分，愁思倍增。引领南望，思念起生活在京城中的友人。“乱流”以下八句，写诗人遥望江南时的所见所感。最后四句是诗人的一番想象：我在孤寂中所思念的友人，眼下正在城中与众人挥金作乐，早巳把我忘了。诗以激昂风韵，描绘了日落望江所见之乱流注壑、雾绕高林，孤鸟远翔等薄暮景象，表露了对旧友“方当得意不念旧交”的怨怼。全诗辞藻细致繁复，色彩鲜明艳丽，笔法健峭，句式多变。
一至四句，“旅人乏愉乐，薄暮增思深”，以平稳的交待总起全诗。
去亲为客，飘泊他乡的游子本少愉悦，今又值黄昏，感物伤怀，则更增其愁。这种情感，在鲍照以前诗人的诗文中已屡有所见，王粲《登楼赋》说：“兽狂顾以求群兮，鸟相鸣而举翼。原野阒其无人兮，征夫行而未息。心凄怆以感发兮，意忉怛而惨恻。”曹植《赠白马王彪》说：“原野何萧条，白日忽西匿。归鸟赴乔林，翩翩厉羽翼。孤兽走索群，衔草不遑食。感物伤我怀，抚心长叹息。”皆属此类。此诗这里暗用其意，重在点明由眼前日暮而引起的思乡和怀人的忧愁，行文极其自然。
以下二句则正面写望乡，照应题目，“日落岭云归”，承接上文的“薄暮”，进一步补充说明忧思增深。白日西匿，在诗人眼中，不但有生命的鸟兽在归巢索群，甚至连无生命的云彩都在急急地回归山岭，感情又进了一层，更深切地引起了他飘泊孤独、无所归依的苦痛忧思。思乡怀人之情，至此乃跃然纸上。“延颈望江阴”，切题之“望”。“江阴”，既交待了荀丞所在之地为江南，又暗示了自己辗转飘泊于江北。延颈而望，表现了对家乡和旧友的急切思念，是上文感情发展的必然结果。
五至十二句，正面写望江所见和感受。
“乱流灇大壑，长雾匝高林。林际无穷极，云边不可寻”，是望江所见的晚景：无数条水流正杂乱地向巨大的长江汇合聚拢，随着暮色的渐深，夜雾弥漫开来，环绕着两岸无边无际的高大林木，向天边绵延伸展，与落日余霞相接，浑然一体。数句写长江日暮景色，气象雄浑，同时又透出几分黯淡的色彩，和诗人当时的忧愁凄凉心境颇相融合，情在景中，耐人咀嚼。此后诗人继续写望江所见，由无生命的林木、云雾转到有生命的禽鸟，“惟见独飞鸟，千里一扬音”，日落云归，暮色苍茫，鸟兽皆已回归巢穴，可此时却仍有孤鸟独飞，怆然长鸣。这就自然地引起了诗人的连翩浮想。曹植《杂诗》之一说：“孤雁飞南游，过庭长哀吟。翘首慕远人，愿欲托遗音。”此诗二句暗用其意，孤鸟哀鸣，犹云游子的悲鸣，都是在“求其友声”（《诗·小雅·伐木》语）。这就自然过渡到下二句。“推其感物情，则知游子心。”诗人由孤鸟独飞，进而推想到和它命运类似的自己，从而表现出了对故乡的怀念和对旧友的无限思慕。
十三至十六句，切题之“赠荀丞”。“君居帝京内”，转入赠友正题，交待荀丞及其所居地点乃京都建康。“高会日挥金”，写荀丞的优越处境：日日置酒高会，挥金如土。元嘉末，荀万秋在京任尚书左丞，是当时执政的徐湛之一派中的重要人物，《宋书·徐湛之传》载湛之豪奢，“伎乐之妙，冠绝一时”，“以肴膳、器服、车马相尚”，荀赤松的生活，恐怕亦复如此。
结尾二句则承此而说，谓荀丞只顾自己享受，却不知道失群离居的故友，面对着江心即将沉没的一轮夕阳，正在长吁短叹呢。这二句感叹荀丞不能援手于自己，有希望得到朋友帮助之意。而态度则不卑不亢，显示了诗人人格的自尊。
此诗由日暮而引起的恋土怀乡发端，进而转到望江，又由望江的所见引至的怀乡慕友，过渡自然，层次清楚。结句“景沉”，又照应开头的“薄暮”，首尾呼应，形成整体和谐的美。暗用前人诗句而不露痕迹，含义深刻而不隐晦难读。采用比物象征手法，以独飞鸟拟孤独飘泊的游子，表现也很有形象感。此外，此诗遣词造句精炼警策，如“日落岭云归”，“乱流灇大壑，长雾匝高林”都是典型的例子，体现了作者深厚的艺术功力。
《庄子》《列子》二书中都记有这样两个有趣而发人深省的故事。一说，列御寇为伯昬（昏的异体字）无人射，列子技艺精湛，手平如砥，甚至能放一杯水在肘上，箭方去而未至靶，杯水又重新落到肘上。然而伯昬无人说“是射之射，非不射之射也”。于是他“登高山，履危石，临百仞之渊，背逡巡，足二分垂于外”，列子惊怖，伏地汗流至踵。伯昬无人就说：“那些与天道同一的至人，上窥青天，下潜黄泉。挥斥八极，神气不变。现在你害怕得直瞬眼睛，可见你内心未明自然之理，不够充实啊。”另一则故事说孔子观乎吕梁，悬瀑三十仞，流沫三十里，连鼋黾鱼鼈之属都不敢过，然而却有一个男子在其中戏水，孔子以为他想自杀，命弟子去岸边救他，那人却上了岸，披发而歌，游于塘下。孔子问他：“游泳有“道”没有？”那人回答：“并无所谓道。只因从小生长于水边，所以能安于水。唯因顺从水之道而无我见存在，所以下水就能不知其然而然，与水化为一体。”这两个故事，曾被历代诗人无数次地运用过，但是却很少见有人能像谢灵运《富春渚》诗这样，用得如此灵活而贴切。
别过了始宁故宅，灵运又浮舟西南行，进入桐庐富阳县境的富春江。富春江有两个特色，一是清，二是险。梁吴均《与宋元思书》曾状其景：“水皆缥碧，千丈见底；游鱼细石，直视无碍；急湍甚箭，猛浪若奔。夹岸高山，皆生寒树，负势竞上，互相轩邈，争高直指，千百成峰。”正写出了这两方面的特色。山水是自然形态的东西，而以之入诗文，则不可避免地染上作者的主观色调。既清且险的富春山水，在卓荦不羁的吴均眼中合成了自由竞荣，勃勃生气的清奇，所谓“奇山异水，天下独绝”。在游子羁旅的孟浩然笔下则是“野旷天低树，江清月近人”，一片清怨；然而在刚为险恶的政治风浪抛掷出来，恃才傲物，一肚子不合时宜的谢客眼中，则是另一番景象。
夜中，诗人渡过了富春东三十里的渔潭浦，清晨舟抵富阳城外。六七十里外的定山、赤亭山是富春名胜，但诗人并不往游，只是向峰顶那缅渺的云雾远远一望，又匆匆驶去。起四句连下“宵济”，“旦及”、“无淹薄”三字，可见富春秀色，此时对意兴索寞的诗人来说并引不起多大兴趣，而远山上那萦青际白的云雾，似乎正象征着他不绝无尽的愁绪。忽然水势突变，逆流而上，惊浪急湍撞击着去舟；而崖岸曲折，参差凹凸，更处处阻遏着行程。这景象真是惊心动魄，诗人自己也不知如何飘过了这一段险泷，不禁深自庆幸：尽管自己并没有伯昬无人那种履险若夷的定力，却竟然如吕梁男子般惊险地闯过了这难关。待得惊魂稍停，他倒是悟出了一条至理。《易·习卦》：“水洊至习坎”，《艮卦》又说“兼山，艮，君子以思，不出其位”，“艮其止，止其所止”。意思是，虽有重险悬绝，而水仍相继而至，这是因为水性已习惯了山坎的缘故。艮即止义，两山相重，正象征着止息之义，君子当因此而引起思索，行于所当行，止于所当止，不要越过了自己的本位。《易》象正揭示了刚才经历凶险一举的内在含义。如果自己真能像伯昬无人与吕梁丈夫一样，内心元气充实，与自然合一，完全忘掉物我、利害、险夷之间的差别，顺乎自然之理，使行动与之不期而合，那么虽然多历风险，也可达到履险若常的境地。推而广之，生活亦正同于行舟，也当顺应自然之理，那么对不久前经历的仕途风波正不必如此耿耿于怀，怨天尤人。自己平生之志本在幽栖养生，二纪之前只因意志薄弱而出山，从此就困顿于世俗之事。希求为入仕干禄已过久了，直至今天总算有了机会实现对友朋许下的远游轻举的诺言。想到这里，诗人感到蛰伏已久为世事蒙蔽的宿愿渐渐得到了舒展生发，顿时眼前的万事就如枯叶朽枝般零落不足道了。思念及此，诗人感到胸怀开张，心地光明，就如庄子所说的神明虚空无所怀的神人一样，忘掉了自身存在而任物推移。从此就只要如那蛰伏以存身的龙蛇，以屈而求伸的尺蠖那样与世委蛇，善养天年就是了。
经过了富春渚后，谢客其实没有真能如诗中所说那样达到超人的境界。甚至就在浮江之际，他恐怕也未曾真正获得心理上的平衡。诗中所言，充其量，也只是即景生想，从理念的观照中得到一种感情的宣泄，这在谢诗其他各篇中不难看到。然而就作诗时一刹那间的感触而言，他却确实达到了情景理的圆融无碍。
全诗实分三个层次，前六句纪行写景；“平生”以下的最后八句是对自身人生道路的检讨与悟参。二者之间本不相涉，但却因中间四句的四个典故而连成了一体，这四个典，尤其是前面《庄》《列》二典用得十分巧妙。舟行富春山水际，而伯昬一典为山、吕梁一典为水，联想十分自然，且同用《庄》《列》更十分工致。山，水之典甚多，不用其它，而偏用这两个，则是因它们既在形象上深切富春山水的凶险，又暗蕴所以能履险若夷的理念。这个理念在诗中是用“亮乏”、“险过”的形式反说的，更切当时诗人的实感。由反到正，则再接用《易经》中一水一山两典，从而顺理顺章地引出了以下对生活历程的检讨。诗歌用典，从诗骚起即有，建安以后更渐成风气，但是用得典雅、精严，炉锤工致，成为作诗一大法门，却不能不说自大谢始，当然由此也带来了谢诗有时稍嫌晦涩之病。得失二方面在此诗中都反映得甚典型。这又是陶、谢诗风的一大区别。
