这首词叙写词人送别友人翁宾旸时的联想和感叹，表达了与友人离别的悲伤以及对友人的深厚感情。在送别友人之时，一面渴望其封侯挂印，一面又劝其挂冠归来，共话别情。此词善用典故，行文流畅，题旨清楚。
上片首句以秋云起兴，“送秋云万里”，起笔高远。“算舒卷、总何心？”秋云舒卷，算来它们又有何心思。如李白诗所言：“时时或乘兴，往往云无心。”（《送韩准、裴政、孔巢父还山》）云卷云舒自然没有什么心思，不过辽阔高远，悠然自在而已。三句勾勒出秋云万里，卷舒自如之景，一为离别做背景，二暗示“云无心以出岫，鸟倦飞而知还”（陶渊明《归去来兮辞》）之归隐意，为全词定下基调。接下来以“叹”字领起，一连用了三个短句“路转羊肠”“人营燕垒”“霜满叹簪”来描述翁五峰此去之艰辛。此去之路是羊肠小路，“羊肠坂诘屈，车轮为之摧。”（曹操《苦寒行》）羊肠小路还要“转”，可见行路之难，道途之艰，亦暗喻翁五峰仕途不畅。此去所为如同燕子垒巢，辛苦经营，翁五峰去贾似道幕中，更如同燕巢危幕，不仅辛苦，而且危险。此去经历风霜，劳苦辛勤，可以想见将来之“尘满面，鬓如霜”。“叹簪”绾合“转叹离本根”与“浑欲不胜簪”，写人如飞叹，发短难簪。这三句将翁五峰此去之辛苦做了极为夸张的描述。顺理成章引出“愁侵”二字。词人替翁五峰愁绪满腹。“庾尘满袖，便封侯、那羡汉淮阴。”三句做了解释。此去贾氏幕中为官，免不了勾心斗角，官场倾轧，就像东晋时的王导与庾亮互相争斗一般，而就算是争斗赢了，封侯拜爵，又能如何。汉朝淮阴侯韩信，国士无双，功劳盖世，仍然落得个身死族灭的下场，这不值得羡慕。“庾尘满袖”，再用“满”字，呼应上句之“霜满叹簪”。“霜满叹簪”还只是个人之辛苦，“庾尘满袖”已见官场之险恶，“便”字更进一层，进一步强调了即使暂时风光，但遇到狡诈奸险之主，最终也不会有好下场。贾似道擅权专政，《宋史》评曰：“似道既专恣日甚，畏人议己，务以权术驾驭，不爱官爵，牢笼一时名士，又加太学餐钱，宽科场恩例，以小利啖之。由是言路断绝，威福肆行。”吴文英为朋友忧虑，乃至“愁侵”，用了许多艰险之语来儆戒友人不要贪恋官场。末两句“一醉莼丝脍玉，忍教菊老松深”，更是以莼鲈之思、松菊之赏来劝告友人应当及早归隐。及时归来，还能一醉方休，享受莼丝脍玉之美，不忍心迟迟不归，让松菊等到花谢树深。“忍”在这里是岂忍的意思。“菊“”松”象征隐者，陶渊明《归去来兮辞》：“三径就荒，松菊犹存。”此处呼应开头的“送秋云万里，算舒卷、总何心？”
换头“离音”一句回到送别题面。“又听西风”三句描述离别场景。西风又起，秋树叶落，阵阵秋吟，一片萧飒。“金井树”用“梧桐落金井”之典，泛指秋树。秋吟泛指秋声。昔日张翰“见秋风起，因思吴中菰菜羹，鲈鱼脍”，遂辞官而去，飘然归乡，而友人偏偏在此时踏入官场，辜负莼丝脍玉，忍教菊老松深，更令词人觉得可惜。“西风”既呼应上 片开头之“秋云”，又照应“莼丝脍玉”之语。“向暮江目断”三句，写沧江日暮，一片凄寂，即使望断江边，也只见到鸿飞渺渺，天色沉沉。友人从水上离去，“江湖多风波，舟楫恐失坠”，词人感伤离情，不由得泪下沾襟。此时离筵正在奏乐，歌妓琵琶之声在秋风中凄凄夜语，此处用白居易《琵琶行》“浔阳江头夜送客”诗意。杨琼和白居易相熟，是江陵著名歌妓，白居易有《问杨琼》诗。此处用此典，切合“送翁五峰游江陵”题目。送客之人和杨琼之流的歌妓谈说往事，不觉已到深夜，寒砧四起。砧声、琵琶声，凄绝萧瑟，令人肠断。末两句“争似湖山岁晚，静梅香底同斟”，重申劝退之意。此去艰辛，不如和三两好友共赏湖山，度此晚岁，在梅树之下静静酌酒赏花。
吴文英一生未登科第，也不曾仕进，早年在苏州做幕僚，以后游走于达官贵人如丞相吴潜、嗣荣王赵与芮等人之家，做了清客，与官僚贵族们唱和酬酢，但始终未曾做官，最后潦倒以终。从此词中来看，他对于官场深有畏惧，不做官之原因，除了客观因素之外，恐怕也有不愿意、不乐意的主观因素在内。
上片首三句，词人从眼前赵府花园之景写起描绘出一片荒废、凄凉的景象，表达出其自身的迟暮之感和亡国之悲。下片再回到对赵府府邸、花园的描写。首句“繁华流水去”，总述赵府昔日繁华不再，过去再美好，转眼都成过往，流露出词人亡国的哀怨之感。结尾三句，接续僧人侵占之意，写僧人把这座府邸当做庙宇，严防死守，不让游人赏玩，词人借此暗示元人对百姓的严酷统治，再想宋朝的覆灭，真令人感慨万千。
上片“西园”三句，点明着笔地点。“春暮”点明晚春时景；接着两句一写草，一写花：草为“乱草”，杂乱野草，遮没路径；花为“残花”，急风阵阵吹打，花瓣纷堕。红雨即指花瓣雨，即花瓣散落如雨，李贺《将进酒》有“桃花乱落如红雨”的诗句。通过描绘满目凄凉的残春景象，烘托出作者的衰老心态和亡国之悲恨。“王侯多宅第，草满玉阑干。纵有春光在，人谁看牡丹”，汪氏所写的这首诗写草虽乱而花却好，虽描写不同，但意义无异。
残垣断壁，故园不在。词人心事重重，由花园着眼整宅，心中不知何等滋味。“念旧巢”二句，由点及面由花园进一步写整座邸宅。“旧时王谢堂前燕，飞入寻常百姓家。”刘禹锡慨叹东晋王谢等贵族第宅，历经沧桑，豪宅已成废墟，建起平常百姓的住宅，燕子仍来原处做巢，只是屋舍已易他人，此词引用刘诗之意，意为赵府仍在，但已改作佛寺，原来的燕子也不识其处，不知飞到哪家哪户去了。“斜阳外”二句，转写邸宅外景：落日斜照，笛声远送。笔致含蓄深曲，令人感慨亲之。
汪元量对琴师音乐特别敏感，常用声音作为其词的结尾，用幽畅的笛声抒发感慨。怀古声息，笔锋一转，下片又转到府宅、花园本身。“繁华流水去”，是此词所包含之情感。“舞歇”二句展开续写繁华逝去之景象：赵府昔日歌舞升平的景象已为过眼烟云，只见遗钿已被泥土所埋。“忍见”，怎能忍心看到这种景象。蕴含词中心中一缕怀旧情思。以“香”形容“土”，倍觉哀怨。残留于今日往日的脂粉气，而丽人已不在。
“渐橘树方生”四句，重写花园。“渐”“方”“才”三字，深含潜滋暗长的意味，蕴藏无限生机。橘树和桑树颇具深意。生于南方的橘树，不能移植，根深蒂固。汪元量赞赏橘桑，正是表达对故国故土的坚贞。大好园林，却为僧人所占，“便关防”三句，令人感慨万分，谓不让显贵玩赏，防守紧严。只是一座庙宇而已。
这首词，词人以赵府府邸为依托，从园、宅两处进行描写，由园到宅，再由宅到园，反反复复，跌宕起伏，寄托词人思国恋旧的情感，含蓄深曲，凄美婉转。