首联点出友人在之前的来信中讲了很多有关衡阳这个地方不好的牢骚话，表示难以忍受衡阳这个地方。诗人回信后告诉他不要这样悲观地想。秋来雁至，正好可借雁寄语。
颔联写出柳州地形复杂，气候炎热，若拿柳州与衡阳相比，环境更难以忍受，然而诗人自己都已经适应了，那么友人就不应该再有不满的情绪了。
颈联写衡阳一带美好的景色，对偶工整，色泽明丽，起承上启下的过渡作用。
尾联诗人引用典故，劝勉友人，回应了前文，让人顿感诗意浑成。
此诗内含悲情而意悠境远，首联的“为报秋亲雁几行”和尾联的“还将远意问潇湘”，均有高朗舒畅、风情摇曳之致。前四句是接来书后对柳州居地的“报”，后四句是因思念友人而对衡州一地的“问”，一“报”一“问”，正好将全诗绾合起来，最能见出作者的作意及其在句法、结构安排上的技巧。
这是一首游子怀乡的诗。怀乡而欲归不得，阻山隔水，于是感极下涕。
诗中有一个矛盾，就是将“巫山”和“淮水”同地并称。闻一多《乐府诗笺》说：“《南部新书》庚：‘濠州西有高唐（原误塘，从《封氏闻见记》、《诗话总龟》改）馆，附近淮水。’案此与夔蜀之高唐馆同名，以地名迁徙之例推之，疑濠西淮水附近之高唐馆，其所在之山亦名巫山。此诗巫山淮水并称，即濠西之巫山也。”也可以不必拘泥字面，泛指山高水长。
诗的前四句写山高水深。山是巫山，水是淮水，写水深山高的同时，交待了诗人所在的地域，与下文“欲东归”相照应。山不独高，而且广大，着力写道路险阻。写水，强调其深，因为深，难以渡过。“山高”与“水深”相对应，山高是虚写，用作水深的陪衬，对水深有加重和渲染的作用，呈现出难以逾越的意念。这四句为全篇作铺垫，或者叫“造势”。
“我欲东归”到“泣下沾衣”六句开始集中写水。从“我欲东归”一句，可知诗人的家乡在淮水下游，他要归家，必须走水路。在他产生“欲东归”的想法的同时，残酷的现实便像特写镜头一般推到他眼前，他不禁惊叫：“害梁不为？”原来这淮水没有桥梁。他被当头浇下一盆冷水。然而，诗人心中尚存一丝希望，就又想：我何不乘船归去？可是，船呢？“我集无高曳，水何汤汤回回”二句含着悲和怨。上一句是悲伤的自语；下一句则衔怨于淮水：你为什么老是那样“汤汤回回”地奔流不息，莫不是有意跟我作对！这是一种绝望的心情。过河没有桥，渡水没有船，满心希望全化作泡影。无奈之时，诗人只有“临水远望”：水天的尽头，有他的父母兄弟，妻子儿女。此时可望而不可即。他内心激动极了，像涨起很高的潮水，无法平静下去；终于两行热泪涌出眼眶，潮水冲出了闸门。
最后两句：“远道之人心思归，谓之何！”扣住怀乡思归的主题。但其作用不仅止于此。上面六句都是具体写思归，这两句则在于提高感情的强度，犹如一支乐曲用高八度的复唱作煞尾；正因为如此，“谓之何”三字是那样铿锵有力。
这是一篇杂言诗，其中有三言、四言、五言、六言、七言各类句式。开头四个三字句，两两对仗，一气连作，表现山高水深，气势逼人。再用两个四字句将节奏放缓，跟着一个五字句，一个六字句，这同诗的感情变化起伏相一致。下面又是两个四字句，语势再度趋于平缓。接下一个七字句，陡起波澜，紧逼出一个顿挫有力的三字句，全诗嘎然而止。感情的抒发如直接从诗人胸中流出，略无掩饰，显得朴实深厚。字句上绝无半点斧凿痕迹；不见用力，却字字有斤两。所有这些，形成这首诗古朴真挚的风格。
在汉乐府中，游子怀乡、欲归无因已成为一类歌辞的母题。如《悲歌》中有四句作：“欲归家无人，欲渡河无船。心思不能言，肠中车轮转。”又有一篇《古歌》说：“离家日以远，衣带日以缓。心思不能言，肠中车轮转。”这些诗句，与此篇似乎有某种联系。
