词以写景导入。“江水苍苍”三句是愁人眼中的秋色。江水浩渺而苍茫，秋天江潮常是最为壮观的，但在流放异乡的词人看来，江水仿佛离人之泪，纵使秋江都是泪，也流不尽许多愁。“倦柳愁荷”更是情景交融。秋霜以后，柳叶行将败落，已不是春夏时节的青翠欲滴，荷叶几个月来辛勤扶持着娇艳的荷花，这时花落叶老，往日的郁郁葱葱已不复存在，以至只留下听秋雨的“残荷”（别本“愁”即作“残”）。而这江、这柳、这荷，都感受到秋天的袭来。“废阁”、“古帘”与下文“清灯冷屋”都是写词人居所的。阁已“废”，却还住人；帘已“古”，却还挂着，可见词人生活的清贫。“雁程最嫌风力”句，“雁程”，指雁之行程。“嫌”，即怕。雁飞最怕风大，逆风飞翔，吃力而难停歇，自然也就不能捎来故园信息。史达祖原籍是北宋故都汴梁，但他生于高宗绍兴末年，一生大部分时间是在南宋都城临安度过的，其亲友也大都在那里。这里的“故园”，应指其西湖边葛岭一带的家园。“爱渠入眼南山碧”一句是忆旧。“渠”，即它。
“南山”在临安是实有的，大旗山北有一座高四十余丈的山即名南山，山上有杜牧墓。西湖周围尚有南屏山、南高峰，皆可谓之“南山”，但这里当是泛指居所南面的群山。词人身处贬所，故格外留恋过去临安的家居生活。一“爱”字，一“碧”字，与上文贬所景象之感情色彩成了鲜明对照。“念上国”一句，明白道出所念乃是京都。词人尽管身遭不幸，而忠君爱国之心并未改变。“谁是脍鲈江汉未归客”一句，乃反躬自问，这江汉未归之客实指词人自己。“江汉”指长江、汉水间的地域。如杜甫在江陵（今属湖北）作诗自称“江汉思归客”，即指旅居在江、汉之间。此词的“江汉未归客”字面亦当本于杜诗。“脍鲈”用晋人张翰的典故。张翰任齐王冏之东曹椽，因秋风起，思吴中菰菜、莼羹、鲈鱼脍，遂辞官，命驾归。
作者以张翰自诩，但却不能如张翰之全身远祸。宋代官员得罪流放远州，轻者送某州居住，稍重曰安置，又重曰编管，皆指定居住地，受地方官约束，不得自由行动。况且他是鲸面流放，身不由己，有家难归，并非留恋爵禄。词写至此，词情更为抑郁，便由伤秋怀乡转而感伤不幸身世。
过片句以“还又”二字作过渡，更进一层。苍苍江水，倦柳愁荷，已使江汉未归之客黯然神伤，又值“岁晚”，况是“瘦骨临风，夜闻秋声”，故倍增孤寂之感。“岁晚”，犹岁暮。俗话说：“年怕中秋月怕半”，中秋以后，一年过去大半，仿佛日之黄昏，无怪乎杜甫《秋兴》诗中“一卧沧江惊岁晚”即谓深秋为“岁晚”。“瘦骨”二字道出词人贬中体貌枯槁，精神憔悴。
“夜闻”二句写客中的所闻所感。秋时西风作，草木凋零，多肃杀之声，而称“秋声”。庾信《周谯国公夫人步陆孤氏暮志铭》谓“树树秋声，山山寒色”。秋声乃西风吹动树木所发。“岑寂”，为冷清、寂寞之意。词人孤身羁旅，对萧瑟之秋风，萌发寂寥之情。
此情既是触景而生，也是贬谪中的爱国志士无往而不在的身世之感的真实流露。词人一心报效祖国，他曾“每为神州未复”（《龙吟曲》）而忧心忡忡，也曾幻想“趁建瓴一举，并收鳌极”（《满江红》），更希望有一天能“办一襟风月看升平，吟春色”（《满江红》）。但他寄予厚望的开禧北伐失败了，主战者的头颅成了向敌人讨好的贡品，当时的形势诚如王夫之《宋论》指出的：“侂胄诛，兵已罢，宋日以坐敝而讫于亡。”国事一日不如一日，有着报国之心的词人不能无动于衷。但眼前的现实却如此冷酷：“露蛩悲、清灯冷屋，翻书愁上鬓毛白。”蛩即蟋蟀，秋露降下，蟋蟀悲鸣，仅有冷屋中的一盏孤灯与词人相伴，只能以“翻书”来打发这漫漫长夜。屋是冷的，阁是破的，词人的心也是碎的。他忧国伤时，故愁得鬓发都白了。曾几何时，公元1201年（嘉泰元年）张镃为他的词集作序时还称他“郁然而秀整”，且“须发未白”，时间过去不多几年，他竟然已“瘦骨临风”、“鬓毛白”。其实他这时还不到五十岁，却已早衰。他早年也曾到过江汉一带，当时正值青春年少，与好友们相约嬉游的情景还历历在目，犹如昨日。可是此时贬谪故地，却是万般无奈，惊魂不定。史弥远政变的刀光剑影仿佛还在词人眼前晃动。继韩侂胄遇害后，丞相陈自强也被贬死雷州，北伐主帅苏师旦被处斩于韶州。史弥远虽对外只会腆颜事敌，但对政敌的迫害却从不手软。这时，史达祖在贬所会不会受到新的迫害只有天才知晓，但这种威胁是无时不在的。他既无辛弃疾那样的雄才大略，性格上也缺少稼轩的英雄气概，在这首词中也不难看出。
“苒苒”二字乃柔弱之意，“苒苒魂惊”，正透出他性格上软弱的一面。故当其客中送客之际，只能一洒志士之泪，却无一壮语赠别，连牢骚也不敢发。后结二句，为送别寄远之辞。“南浦”指南面的水边。《离骚》有“送美人兮南浦”之句，又江淹《别赋》云：“春草碧色，春水渌波，送君南浦，伤如之何！”这里借“南浦”而点出送别之意。“烟驿”，指词人之居所，与前文之“废阁”、“冷屋”同义。“剪梅”乃寄远常用之典。据《荆州记》载，“陆凯、范晔相善，自江南寄梅花一枝诣长安与晔，并赠诗曰：‘折梅逢驿使，寄与陇头人。江南无所有，聊赠一枝春。’”因无所有而折梅寄远已属可叹，何况词人身处贬所，寄远之际更多一番不足为外人道的苦情。词即在这哀怨之中结束了，更显得一往情深。
从这首词的艺术表现手法看，也是颇具特色的。词人身遭不幸，家国之恨、身世之感郁积于胸，不可不言而又不可明言，故形成了一种沉郁苍凉的风格和回环往复、虚实相间的抒情结构。词人深沉哀怨之情是历历可感的。“雁程最嫌风力”、“无奈苒苒魂惊”等语，都写得沉郁深挚，颇为感人。梅溪词受清真影响，在章法结构上常常通过种种回忆、想象、联想等手法，前后左右，回环吞吐地描摹出他所要表达的东西，看到的和想到的融于一篇。这一特点，在他被贬流放后的作品中表现得尤为突出。这首词正是如此。词中之江水、柳、荷、废阁、古帘、清灯冷屋，都是实景，而“受渠入眼南山碧”，“年少俊游浑断得”则是回忆与想象，全词以伤秋怀归贯穿全篇，虚虚实实，欲言又止，摇曳生姿，朦胧而不晦涩，这就比直抒胸臆更感人肺腑、耐人寻味。
含蓄蕴藉是沉郁风格的又一表现。结尾数句，既点明是送别友人，又将未了之情引起读者遐想，不尽之意见于言外，显得含意隽永，余音不绝。清人对此词非常推崇，推它为《梅溪词》的杰作，显然是有见地的。
诗分三段，每段八句。第一段写古时进贡荔枝事。历史上把荔枝作为贡品，最著名的是汉和帝永元年间及唐玄宗天宝年间。“十里”四句，写汉和帝时，朝廷令交州进献荔枝，在短途内置驿站以便飞快地运送，使送荔枝的人累死摔死在路上的不计其数。“飞车”四句，写唐玄宗时令四川进献荔枝，派飞骑送来，到长安时，还是新鲜得如刚采下来一样，朝廷为了博杨贵妃开口一笑，不顾为此而死去多少人。这一段，抓住荔枝一日色变，二日香变，三日味变的特点，在运输要求快捷上做文章，指出朝廷为饱口福而草菅人命。这一点，杜牧《过华清宫绝句》“一骑红尘妃子笑，无人知是荔枝来”已作了描写，苏诗中“知是荔支龙眼来”、“宫中美人一破颜”句就是从杜牧诗中化出。但杜牧诗精警，苏诗用赋体，坐实了说，博大雄深，二者各有不同。
“永元”起八句是第二段，转入议论感慨。诗人以无比愤慨的心情，批判统治者的荒淫无耻，诛伐李林甫之类，媚上取宠，百姓恨之入骨，愿生吃其肉；感叹朝廷中少了像唐羌那样敢于直谏的名臣。于是，他想到，宁愿上天不要生出这类可口的珍品，使得百姓不堪负担，只要风调雨顺，人们能吃饱穿暖就行了。这段布局很巧，“永元”句总结第一段前四句汉贡荔枝事，“天宝”句总结后四句唐贡荔枝事，“至今”句就唐事发议论，“无人”句就汉事发议论，互为交叉，错合参差，然后用“我愿”四句作总束，承前启后。
“君不见”起八句是第三段，写近时事。由古时的奸臣，诗人想到了近时的奸臣；由古时戕害百姓的荔枝，诗人想到了近时戕害百姓的各种贡品。诗便进一步引申上述的感叹，举现实来证明，先说了武夷茶，又说了洛阳牡丹花。这段对统治者的鞭挞与第一、二段意旨相同，但由于说的是眼前事，所以批判得很有分寸。诗指责奸臣而不指责皇帝，是诗家为尊者讳的传统。就像杜甫《北征》“不闻夏殷衰，中自诛褒妲”，写安史之乱而为玄宗开释；李白《巴陵送贾舍人》“圣主恩深汉文帝，怜君不遣到长沙”，写才士被贬，反说皇帝大度。苏轼在这里用的也是这种“春秋笔法”，很显然，他不仅反对佞臣媚上，对皇帝接受佞臣的进贡，开上行下效之风，使百姓蒙受苦难，他也是十分不满的。这一段，如奇军突起，忽然完全撇开诗所吟咏的荔枝，杂取眼前事，随手挥洒，开拓广泛，且写得波折分明，令人应接不暇。而诗人胸中郁勃之气，一泻而出，出没开阖，极似杜诗。
全诗有叙有议，不为题囿，带有诗史的性质，因此清方东树等的赞誉。
