首联点出友人在之前的来信中讲了很多有关衡阳这个地方不好的牢骚话，表示难以忍受衡阳这个地方。诗人回信后告诉他不要这样悲观地想。秋来雁至，正好可借雁寄语。
颔联写出柳州地形复杂，气候炎热，若拿柳州与衡阳相比，环境更难以忍受，然而诗人自己都已经适应了，那么友人就不应该再有不满的情绪了。
颈联写衡阳一带美好的景色，对偶工整，色泽明丽，起承上启下的过渡作用。
尾联诗人引用典故，劝勉友人，回应了前文，让人顿感诗意浑成。
此诗内含悲情而意悠境远，首联的“为报秋亲雁几行”和尾联的“还将远意问潇湘”，均有高朗舒畅、风情摇曳之致。前四句是接来书后对柳州居地的“报”，后四句是因思念友人而对衡州一地的“问”，一“报”一“问”，正好将全诗绾合起来，最能见出作者的作意及其在句法、结构安排上的技巧。
此词上片将家国之忧打入个人身世之叹。发端“风拂尘微”一韵，从今时入笔，写秋景：言秋风拂征车之尘，秋雨侵阴凉之榻。开头二句切词题“风雨”二字，“凉榻”切“中秋”一词。从秋景中展示了自己漂泊、凄苦、孤寂的生活。“才动秋思”一句，写愁情秋思由秋景引起。“缓酒销更”一韵，言愁绪满怀只好以酒销愁，“移灯傍影”写出独自饮酒已到掌灯时分，“傍影”突出了形影相吊的孤寂气氛。此时更传来风雨淅沥，芭蕉簌簌的声音，真是“窗外芭蕉窗里人，分明叶上心头滴”了，这岂不让人“借酒消愁愁更愁”了。这愁的内涵有二，上述的漂泊生涯是其一，其二就是“铜华沧海”一韵所写的。此韵化用铜驼荆棘与沧海桑田的典故，表达了对国家处在风雨飘摇中的忧虑，当时元灭金已经十年，不断南侵，南宋国势日趋危殆，词人面对这种形势，虽无投笔奋起之壮心，亦有大厦将倾、铜驼荆棘之叹，人生无常之悲。“愁重嶂”一句，既写国家处在阴霾重嶂之中，也表达了自己忧愁犹如层嶂雾霭之状。“燕北雁南天外”言家国之忧与身世之叹不断轮番地袭击自己。此韵，把题中的“风雨”二字的内涵，揭示得最为深刻。“算阴晴”一韵，写在风雨中，个人感受简直像是几次“西出阳关无故人”（王维《送元二使安西》）般的孤独、寂寞、凄苦。
过片继写“秋思”。接上片歇拍的“故人离合”展开，出个人悲欢离合之事。“青楼旧日”一韵，是逆入，回忆昔日在苏州曾与爱姬相偕的美好时光：在青楼内，玉人陪侍，饮酒高歌，十分惬意。“红叶流光”一韵，平出，转笔写今，金风习习，红叶飘飘，自己已是一事无成两鬓斑白，这一切不禁使“心事如秋水”。“白凝虚晓”一韵，切题“中秋”，写风雨停歇，白云凝虚，天空似晓非晓，室内炉香将烬，只有瓶中一枝桂花倚窗而放。“疏桂”扣“中秋”。此瓶中疏桂，让人有卓尔不群之感。“向深宫”一韵，写中秋之月，虽在风雨之后，依然被白云遮蔽，未能放出光芒，好像嫦娥仙子在深深的月宫中，被嫉妒的云仙团团围住。此结句，将月拟人化，其寓意深刻，与“铜华沧海，愁霾重嶂，燕北雁南天外”相呼应，将家国之忧、个人离合之叹，都化在此设问句中，含蓄委婉而深刻。
此词突出特色是将家国之忧、身世之叹、离合之悲三者融而为一，以“风雨”贯全篇，时空交错，含蓄委婉，感情深挚。正如俞平伯所说：“他们（指姜白石、吴文英等）每通过典故词藻的掩饰，曲折地传达眷怀家国的感情，这不能不说比之‘花间’词为深刻，也比北宋词有较大的进展。”（《唐宋词选释·前言》）。
此诗通过描写作者辞官归隐嵩山途中所见的景色，抒发了作者恬静淡泊的闲适心情。首联写归隐出发时的情景；颔联写水写鸟，其实乃托物寄情，写自己归山悠然自得之情，如流水归隐之心不改，如禽鸟至暮知还；颈联写荒城古渡，落日秋山，是寓情于景，反映诗人感情上的波折变化；尾联写山之高，点明作者的归隐地点和归隐宗旨。全诗质朴清新，自然天成，尤其是中间两联，移情于物，寄情于景，意象疏朗，感情浓郁，诗人随意写来，不见斧凿之迹，却得精巧蕴藉之妙。
“清川带长薄，车马去闲闲。”首联描写归隐出发时的情景，扣题目中的“归”字。清澈的河川环绕着一片长长的草木丛生的草泽地，离归的车马缓缓前进，显得那样从容不迫。这里所写望中景色和车马动态，都反映出诗人归山出发时一种安详闲适的心境。
中间四句进一步描摹归隐路途中的景色。第三句“流水如有意”承“清川”，第四句“暮禽相与还”承“长薄”，这两句又由“车马去闲闲”直接发展而来。这里移情及物，把“流水”和“暮禽”都拟人化了，仿佛它们也富有人的感情：河川的清水在汩汩流淌，傍晚的鸟儿飞回林木茂盛的长薄中去栖息，它们好像在和诗人结伴而归。
两句表面上是写“水”和“鸟”有情，其实还是写作者自己有情：一是体现诗人归山开始时悠然自得的心情，二是寓有作者的寄托。“流水”句比喻一去不返的意思，表示自己归隐的坚决态度；“暮禽”句包含“鸟倦飞而知还”之意，流露出自己退隐的原因是对现实政治的失望厌倦。所以此联也不是泛泛的写景，而是景中有情，言外有意的。
“荒城临古渡，落日满秋山。”这一联运用的还是寓情于景的手法。两句十个字，写了四种景物：荒城、古渡、落日、秋山，构成了一幅具有季节、时间、地点特征而又色彩鲜明的图画：荒凉的城池临靠着古老的渡口，落日的余晖洒满了萧飒的秋山。这是傍晚野外的秋景图，是诗人在归隐途中所看到的充满黯淡凄凉色彩的景物，对此加以渲染，正反映了诗人感情上的波折变化，衬托出作者越接近归隐地就越发感到凄清的心境。
“迢递嵩高下，归来且闭关。”“迢递”是形容山高远的样子，对山势作了简练而又形象的描写。“嵩高”，即嵩山。前句交待归隐的地点，点出题目中的“嵩山”二字。“归来”，写明归山过程的终结，点出题目中的“归”字。“闭关”，不仅指关门的动作，而且含有闭门谢客的意思。后句写归隐后的心情，表示要与世隔绝，不再过问社会人事，最终点明辞官归隐的宗旨，这时感情又趋向冲淡平和。
整首诗写得很有层次。随着诗人的笔端，既可领略归山途中的景色移换，也可隐约触摸到作者感情的细微变化：由安详从容，到凄清悲苦，再到恬静澹泊。说明作者对辞官归隐既有闲适自得，积极向往的一面，也有愤激不平，无可奈何而求之的一面。诗人随意写来，不加雕琢，可是写得真切生动，含蓄隽永，不见斧凿的痕迹，却又有精巧蕴藉之妙。方回说：“不求工而未尝不工。”正道出了这首诗不工而工，恬淡清新的特点。