这是一首题在《长江万里图》上的诗，作者从长江发源地写起，从而想起家乡，引出他内心盘结已久的故乡愁思。家乡、长江两种意象相融相生，将游子的思乡情表现得丰满深厚，情因景显，景因情深，清新流畅，自然浑成。
诗人看画后首先想到了自己的家乡，“我家眠山更西住，正见岷山发源处”。诗人原籍在四川，看到长江后很自然产生一种我住“长江头”的感情，这里有怀念，也有自诩三四句是写长江的波澜壮阔，“三巴春霁雪初消，百折千回向东去。”杜甫诗：“中巴之东巴东山，江水开辟流其间”就是写此处山川形胜的。“雪初消”意味着江水增长，汹涌澎湃；“百折千回”写出了水流经之地山势奇险。这两句点出了画题，极写长江奔腾不息之势。
接下诗意一转由写景而转向抒情。“江水东流万里长，人今飘迫尚他乡。”诗人望着滚滚的长江水由西而东，流经万里，想到人们为了生活，背井离乡，也随着这东流的江水四处飘泊，不禁喟然而叹。诗中的“人”字也可解作诗人自己，这也是对自己身世命运的感叹。以东流江水喻离乡之苦，是因为两者之间有共同特点，那就是“长”。李白写的：“请君试问东流水，别意与之谁短长”。也是抓住了这一特点，可见诗人之间也是有共同感受的。不过李白是与朋友告别，“别意”中虽有憾情，然叹而不哀。杨基这里写的却是异乡飘泊思念之情，因而它要凄苦得多。
尾联“烟波草色时牵恨，风雨猿声欲断肠。”这是对离愁别恨的更深一层描写。“烟波草色”、“风雨猿声”，本是长江两岸的普通景物，为旅人所常见常闻，然而在诗人的眼中、耳中，却都变成了牵恨”和“断肠”的缘由。实际上这是主观感情给客观事物铺上的感情色彩，而这客观事物反过来又加深了主观感情的浓度。诗人所写的正是基于这样一种心理体验，而且用了“恨”和“断肠”这样的字眼儿，可见它的浓度之深。
这首诗从谋篇构思看，由看画而想到家乡，由想到而思念，由思念而感慨，由感慨而痛楚，步步依理，层层加深，可谓层次清晰，自然真切。从表现方法看，既写景又写情。写景时景不离情，如东流江水之与飘泊游子；写情时情不离景，如离恨之与烟波草色，断肠之与风雨猿声。可谓情因景显景因情深。从语言运用看既无炼字之迹，又欠修饰之功，犹如口语，明白如话，随意而写，一气呵成。可谓清新流畅，自然浑成。
开头四句语言颇艰涩费解。第一句，“羁心”指一个被迫远游为宦的人满肚皮不情愿的心情。这句意思说在秋天的早晨自己郁积着一种不愉快的羁旅者的心情。接下来第二句说，既然一清早心情就不愉快，那么爽性尽情地眺览沿途的景物吧。第三、四两句似互文见义，实略有差别。“逝湍”指湍急而流逝的江水，则“孤客”当为舟行之客；而“徒旅”虽与“孤客”为对文，乃指徒步行走的人，则当为陆行之客，故下接“苦奔峭”三字。夫舟行于逝湍之中，自然提心吊胆；但其中也暗用“逝川”的典故。《论语·子罕》：“子在川上曰：‘逝者如斯夫，不舍昼夜！’”因知此句的“伤”字义含双关，既伤江上行舟之艰险，又伤岁月流逝之匆遽，与下文“遭物悼迁斥”句正相呼应。第四句，江岸为水势冲激，时有崩颓之处，徒步旅行的人走在这样的路上自然感到很苦。不过从上下文观之，这句毕竟是陪衬，重点还在“伤逝湍”的“孤客”，也就是作者本人。所以“孤客”、“徒旅”是以个别与一般相对举，似泛指而并非全是泛指。
第二节的四句全是景语。这中间也有跳跃。开头明写秋晨，下文却来写“秋晚”，而用“日落山照曜”一句来代表。这种浓缩的手法是我国古典诗歌的特点之一，而谢灵运的诗在这方面显得尤为突出。但是缓是急，仍须研究。汉武帝《瓠子歌》（见《史记·河渠书》引）：“河汤汤兮激潺谖。”可见当训水流急貌。何况“石浅”则水势自急，必非缓流可知。此四句“石浅”句写水，写动态，“日落”句写山，写静态；水为近景，色泽清而浅；山为远景，色泽明而丽。“荒林”句写目之所见，“哀禽”句写耳之所闻。全诗景语，仅此四句，起到承上启下的作用，照理讲它们并非主要内容。只是若把这四句删掉，此诗即无诗味可言。可见情由景生，原是写诗要诀。
第三节从写景转入抒情，却兼有议论。“迁斥”有两层意思，一是主观上指自己被出为郡守，无异于受迁谪和贬斥，二是客观上感到节序迁改推移，时不待人。这二者都是值得伤悼的。但只要存有希望，就可以领悟精微玄妙的道理，不致因外来的干扰影响自己的情绪了。然而这种悟道的境界，只有太古时代的圣君贤哲才能心领神会，处于衰乱末代的人是无法理解的。所以作者说，“我既已持有上古时代的圣贤的一颗心，哪里还在乎当今世人的讥诮呢！”从这里，看得出作者同刘宋王朝的统治阶级是互相对立的，这是豪门世族与军阀新贵之间必然存在的矛盾。最后矛盾激化，谢灵运终于以谋反罪被杀害。从历史主义的观点来分析，这是丝毫不足为怪的。
最后一节，作者借古人以明志。“严子”和“任公”这是两种不同类型的古人。严光是避世的隐者，而任公则象征着具有经世大才的非凡之辈。作者意思说自己纵有经天纬地之才，由于不合时宜，宁可做个隐士。结尾两句，作者明确表示：即使不同时代的人也可以志趣相投，步调一致。言外隐指：本人知音寥落，当世的人对自己并不了解。从而可以推断，上文作者所伤悼的具体内容到底是什么了。
