词的上片由景物引出人物。清风拂过水面，明月泻下银辉，鳞鳞微浪闪动着光波，月夜恬静、皎洁、优美。此刻，一只装饰华美的小船荡离江岸，驶向迷茫的远方，一个女郎凭依着楼头的栏杆，借着朦胧的月色，凝神目送那渐渐消失在夜空中的一叶轻舟。江波、清风、明月、画船，开端并列几个富有特征的意象，就构成了一个清丽纯净、沁人心脾的意境。值此良宵美景，与意中人联袂共赏，该是何等快意惬怀；然而，其人竟登舟飘然远去，“良辰好景虚设”，令人黯然神伤。“波上清风”、“画船明月”之下，突然接上“人归后”，这三字，使意脉陡转，气氛骤变，顿时给主人公带来了无限的寥落和空虚。“人归后”三字含蕴丰厚，既点明行人，又暗示送者独留，从而逗出下文对居者的描写。“渐消残酒”是翻进一层的写法，临行前，置酒饯别，双方筵席间缱绻叮咛，依依难舍之情，一并涵盖在内，笔法较为经济。残酒渐消，说明分手已为时不短，仍要独自久久凭栏，足见依恋之深。“凭栏久”紧承“渐消残酒”，“独自”应上“人归后”。这位女郎兀自一人，夜幕中凭栏伫立，不忍离去，她对行人的无限钟情便得到了显露。
下片换头写“独自凭栏”的思绪。人之聚散，虽属常事，但别离总给人带来忧伤。苏轼《南歌子·感旧》词云：“寸恨谁云短，绵绵岂易裁。”对于恋人，短暂的分离已足可消魂，何况年年分别，岁岁离恨，而这回又归期难凭呢。这二句，像是女主人公的内心独自，她从当前的离别进而回想起昔日多少次的“聚散匆匆”，其中包含着无数的辛酸与忧虑，期待与不安，容纳了多少实际的生话内容。她凝神冥想，思绪翻腾，却没有觉察到时间如奔逝的流水从身边悄悄掠过。猛然，远处的芜城传来隐隐的更鼓声，原来夜已很深，回首遥望，向时的津渡一片沉寂，只有残月映射下的两行疏柳、几缕淡烟，依稀可辨。南朝宋竟陵王刘诞作乱，城邑荒芜，遂称芜城。鲍照写过著名的《芜城赋》，其后，诗人常借芜城以寄慨。芜城，亦可泛指荒城。煞拍三句，以景结情，言止而意无尽。“重回首”遥接“人归后”，“芜城漏”暗合“凭栏久”，全篇浑然一体，妙合无垠。
此篇词写月夜送别，侧重点在居者的忧思，别后月夜的伫望和凝想，词中对女主人公自我形象的描写着墨不多，摄取清风、明月、淡烟、疏柳、隐隐鼓漏等清丽秀逸的景物来衬映烘托，创造出一个优美的意境，从而使词人深情诚笃的心灵也宛然在目。吴蘅照说：“言情之词，必藉景色映托，乃具深婉流美之致。”（《莲子居词话》）此词正具有这种特色。
此词以一个仙凡恋爱的故事起头，写词人与情人分别之后，旧地重游而引起的怅惘之情。整首词通篇对偶，凝重而流丽，情深而意长。
首句“桃溪”用东汉刘、阮遇仙之事典。传东汉时刘晨、阮肇入天台山采药，于桃溪边遇二女子，姿容甚美，遂相慕悦，留居半年，怀乡思归，女遂相送，指示还路。及归家，子孙已历七世。后重访天台，不复见二女。唐人诗文中常用遇仙、会真暗寓艳遇。“桃溪不作从容住”，暗示词人曾有过一段刘阮入天台式的爱情遇合，但却没有从容地长久居留，很快就分别了。这是对当时轻别意中人的情事的追忆，口吻中含有追悔意味，不过用笔较轻。用“桃溪”典，还隐含“前度刘郎今又来”之意，切合旧地重寻的情事。
第二句用了一个譬喻，暗示“桃溪”一别，彼此的关系就此断绝，正象秋藕（谐“偶”）断后，再也不能重新连接一起了，语调中充满沉重的惋惜悔恨情绪和欲重续旧情而不得的遗憾。人们常用藕断丝连譬喻旧情之难忘，这里反其语而用其意，便显得意新语奇，不落俗套。以下两句，侧重概括叙事，揭出离合之迹，遥启下文。
“当时相候赤阑桥，今日独寻黄叶路。”三四两句，分承“桃溪”相遇与“绝来无续”，以“当时相候”与“今日独寻”情景作鲜明对比。赤阑桥与黄叶路，是同地而异称。俞平伯《唐宋词选释》引顾况、温庭筠、韩偓等人诗词，说明赤阑桥常与杨柳、春水相连，指出此词“黄叶路明点秋景，赤阑桥未言杨柳，是春景却不说破。”同样，前两句“桃溪”、“秋藕”也是一暗一明，分点春、秋。三四正与一二密合相应，以不同的时令物色，渲染欢会的喜悦与隔绝的悲伤。朱漆栏杆的小桥，以它明丽温暖的色调，烘托往日情人相候时的温馨旖旎和浓情蜜意；而铺满黄叶的小路，则以其萧瑟凄清的色调渲染了今日独寻时的寂寞悲凉。由于是“独寻黄叶路”的情况下回忆过去，“当时相候赤阑桥”的情景便分外值得珍重流连，而“今日独寻黄叶路”的情景也因美好过去的对照而愈觉孤孑难堪。今昔之间，不仅因相互对照而更见悲喜，而且因相互交融渗透而使感情内涵更加复杂。既然“人如风后入江云”，则所谓“独寻”，实不过旧地重游，记忆中追寻往日的缱绻温柔，孤寂中重温久已失落的欢爱而已，但毕竟寂寞怅惆中还有温馨明丽的记忆，还能有心灵的一时慰藉。今昔对比，多言物是人非，这一联却特用物非人杳之意，也显得新颖耐味。“赤阑桥”与“黄叶路”这一对诗歌意象，内涵已经远远越出时令、物色的范围，而成为一种象征。
换头“烟中列岫青无数，雁背夕阳红欲暮”两句，转笔宕开写景：这是一个晴朗的深秋的傍晚。烟霭缭绕中，远处排立着无数青翠的山峦。夕阳的余辉，照映空中飞雁的背上，反射出一抹就要黯淡下去的红色。两句分别化用谢朓诗句“窗中列远岫”与温庭筠诗句“鸦背夕阳多”，但比原句更富远神。它的妙处，主要不景物描写刻画的工丽，也不景物本身有什么象征涵义；而于情与景之间，存着一种若有若无、若即若离的联系，使人读来别具难以言传的感受。那无数并列不语的青嶂，与“独寻”者默默相对，更显出了环境的空旷与自身的孤孑；而雁背的一抹残红，固然显示了晚景的绚丽，可它很快就要黯淡下去，消逝一片暮霭之中了。
结拍“人如风后入江云，情似雨馀粘地絮。”两句，收转抒情。随风飘散没入江中的云彩，不但形象地显示了当日的情人倏然而逝、飘然而没、杳然无踪的情景，而且令人想见其轻灵缥缈的身姿风貌。雨过后粘着地面的柳絮，则形象地表现了主人公感情的牢固胶着，还将那欲摆脱而不能的苦恼与纷乱心情也和盘托出。这两个比喻，都不属那种即景取譬、自然天成的类型。而是刻意搜求、力求创新的结果。但由于它们生动贴切地表达了词人的感情，读来便只觉其沉厚有力，而不感到它的雕琢刻画之迹。“情似雨馀粘地絮”，是词眼，全词所抒写的，正是这种执着胶固、无法解脱的痴顽之情。
此词纯用对句，从而创造了一种与内容相适应的凝重风格。整首词于排偶中，仍具动荡的笔墨，凝重之外而兼流丽风姿。《白雨斋词话》评此词云：“美成词有似拙实工春，如玉楼春结句云：”人如风后入江云，情似雨余粘地絮。“上言人不能留，下言情不能已。呆作两臂，别饶姿态，都不病其板，不病其纤，此中消息难言。”以这段话评价此词的工巧深沉和灵活轻捷，应该是精当的。