此词乃是借写西湖秋夜之景，以此来怀念旧人之作，全词造境清奇，情意深永。
上片寓情于景，绘出西湖秋夜清冷凄寂之景，奇幻优美。当时波平如镜，月影在水，而词人只觉得梧桐叶落，一派秋意，生动描绘了一幅清冷寂寥的秋景图。“冷不收”是词人的刻意之言，说铜镜被遗落在凄冷的夜晚没有人收。陈洵在《海绡说词》里说：“‘玉人垂钓理纤钩’是下句倒影，非谓真有一玉人垂钓也。”“玉人垂钓理纤钩”营造了一个虚幻美丽的景象，写词人看见月亮倒映在湖水中，湖面竟然出现了一位“玉人”。这位玉人就是传说中的月宫美人嫦娥。月亮是真实的景物，而湖面的“玉人”是虚假的，这一真一假巧妙地融合在一起，显示出词人的想象力非常丰富，而且具有人情味。最后一句说池阁月夜冷寂方知已经人秋。“月明池阁”，点明词人身在池阁，欣赏月明西湖之景，而“夜来秋”写出词人在池阁上辗转难眠，只感到阵阵秋风袭来，分外奇寒，暗喻内心的凄凉。
下片回首当年与情人离别的情景，以西风井边梧桐落叶的萧瑟景色渲染悲凉气氛。
词人与情人在拂晓告别，看见湖水上的红莲都凋谢了，瑟瑟的西风吹得梧桐叶纷纷掉落。词人取江燕、水花的意象，描绘了一个劳燕分飞，花自飘零人自悲的凄惨景象。“水花红减”描写了西湖水面上娇艳的荷花凋败的景象，词人感叹时光的流逝，暗含对情人的相思之情。最后一句写景，却不仅仅是写景，景中见情，将词人悲切的心情刻画得入木三分。“西风”句是指西风吹拂梧桐，树叶瑟瑟抖动，如同悲秋，暗寓词人对飘零身世的深深感慨。
全词意境朦胧而清奇，情深而意重。
诗作前部分叙写古人事迹，以之为衬托表明自己坚决辞职隐居的意志与行为。诗作后部分写自己返家行程中的景象及感想。诗中抒发了去官还家、获得解脱的愉悦心情。诗中写景不多，却极为清丽动人。
一至十句自述隐居丘园之志。
先对几位古人加以评价：西汉的彭宣、薛广德、贡禹虽有高名，但只能说是优于贪婪奔竞之徒，还说不上是懂得养生缮性。彭宣和薛广德，班固《汉书》对他们评价颇高，称其“近于知耻”（《汉书·叙传》）；谢灵运却说他们“裁知耻”而已，并不十分推崇。贡禹曾为河南县令，因受上司责备，便辞官而去。后又出仕，元帝时为光禄大夫，以年迈求退，为皇帝所挽留，进为御史大夫。诗人认为他并未能遗弃荣华富贵。评论古人只是陪衬，目的是表明自己的志向不仅是不贪竞而已，而且要做到“达生”。《庄子》有《达生》篇，说“达生之情者，不务生之所无以为；达命之情者，不务知之所无奈何”，认为人之性分有定，不可勉强致力于性分之外的事。
篇中又说欲存生养性，莫如弃世而无所牵累。诗人正以此种思想作为隐退的精神支柱。其具体的打算，则是“庐园当栖岩，卑位代躬耕”。《山居赋》云：“古巢居穴处曰岩栖，传说古代隐士也有过此种原始生活者。但诗人毕竟做不到这样，故有所变通，以田园当作岩栖。他也不能真的耕稼自给，故欲学习古代一些达士的做法，安于卑位，以薄俸为生生之资。他说自己拙于仕宦，讷于言辞，故欲选择这样的生活道路，不过以往行迹尚未能与此种生活理想相一致。这可说是诗人对往昔生活的一个总结。
十一至二十句写去职。
先举周任、司马相如、尚子、邴生以自比。诗人说自己在种种方面都类似于上举那些淡泊明志的古人。自晋安帝义熙元年（405年）至景平元年（423年），实得十八年，说“二十载”是约略言之。二十年来做违心的事，心情是悒郁的；而今终于摆脱了送往迎来等等俗务，其快意可知。
二十一句至三十二句写初去郡途中的所见所感。
“理棹”以下四句写其水陆行程。为早日还家，乃疾速行舟。遄、鹜二字表现出心情之急迫。“理棹”二句已兼写水陆，“溯溪”二句又写水涉山行，但不觉累赘，因读者可由此充分想象其行进的画面，感受到行程的漫长辛苦。“野旷”二句是写景名句，景中其实有情。清旷无际的风景正与诗人心境相应。久被絷牵，一朝脱去，自感到无限的开朗、轻快，故触目皆成佳趣。
“憩石”二句写山林小憩情景，暗用《楚辞》典故：《九歌·山鬼》：“山中人兮芳杜若，饮石泉兮荫松柏。”又《离骚》：“朝饮木兰之坠露兮，夕餐秋菊之落英。”熟悉典故的读者可于言外获得一种清幽芳洁之感。“理棹”四句写疾速前行，途程漫漫，“野旷”四句写赏玩风物，途中小憩，形成情绪和内在节奏的对比；而其心情之急迫与愉悦，都得到了表现。由愉悦的心情、悠然的意绪，进而引发出一番情理相融的议论：高尚之志战胜了富贵之欲，胸襟旷然，则臞者可肥；以止水为鉴，则流荡不返者将归于宁静清明。（二句用《韩非子·喻老》和《庄子·德充符》典故）心灵获得了自由宁静，则即使处于纷乱奔竞之世，也等于是归真返璞，回到了伏羲、唐尧时代，可以无拘无束、怡然自得了。传说尧时百姓无事，有老者击壤而歌曰：“日出而作，日入而息。凿井而饮，耕田而食。帝力何有于我哉！”诗人用此典故，似有“人生如此自可乐，岂必局束为人靰”（韩愈《山石》）之慨，且使人隐约感到他与当权者关系之不和谐。
谢灵运去郡之志是坚定的。当时其堂弟谢晦等人都写信劝他不要离职，他执意不从。不过他并非一贯恬退之人。《宋书》本传说他“自谓才能宜参权要，既不见知，常怀愤愤”。其出为永嘉太守，正是与当权者矛盾的结果。他之去郡，乃是一种不合作态度的表现。明乎此，对于此诗的理解便可更深入一层了。
第一段写三人相会的情形，着墨不多，而其背景、时间、地点以及人物关系交代得一清二楚。从“微之反棹送予”这一细节中，则可体会到元、白二人的深挚情谊。用笔简妙，为下文抒写惜别之情预作铺垫。
第二段写三人发现并游览三游洞的经过，是本文的重点所在。临别之际，不忍分手，彼此牵引着船，久久地在江中来回航行，忽闻石间泉声，便下船上岸，步入缺岸寻找。他们一边循声探索，一边观赏景物。石则观其形状之“怪”，像人工着意堆叠和劈削而成；而石钟乳就像张开的臂膀和下垂的旗帜。泉则赏其势态之“奇”，像飞泻，像喷洒，像悬挂的白带，像不断的白线。动静结合，给人如临其境的感觉。他们又把船拴在岩石下，割杂革，除障碍，进洞游览。作者突出“险”、“惊”、“幻”三字。“梯危缒滑”，“休而复上者”达四五次之多，攀登艰难，写出洞的险峭、滑溜；水石相击，发出“磷磷凿凿”的巨响，溅出如珠似玉的水花，作者以“惊动耳目”四字，写出了自己的独特感受。洞中黄昏，景色奇绝：“俄而峡山昏黑，云破月出，光气含吐，互相明灭，晶荧玲珑。象生其中。”寥寥几笔，便把洞中光彩变幻的景物如画般地展现，使人目夺神移。这“险”、“惊”、“幻”的景色，描绘得神奇美妙，作者犹有“虽有敏口，不能名状”的遗憾。
末段因景伤情，抒写“怜奇惜别”的感慨，加深了文章的思想内涵。爱景之奇，惜友之别，二者融为一体。三人的对话，“且叹且言”，尤其是作者的慨叹，借此喻彼，含英才被贬之意，意味更为深长。末了，以介绍作序原因、洞名来历及三游洞的具体位置作结，收笔从容自然。
这篇文章采用记叙、描写、议论、抒情相结合的手法，相互映衬、融合、生发，浑然成篇。语言凝炼精粹，晶莹润畅，且善用比喻，善于描摹，生动地写出景物的本质特征，写作技巧是很高超的。
“道是梨花不是。道是杏花不是。”发端二句飘然而至，虽明白如话，但决非一览无味，须细加玩味。词人连用梨花、杏花比拟，可知所咏之物为花。道是梨花——却不是，道是杏花——也不是，则此花乍一看去，极易被误认为梨花，又极易被误认为杏花。仔细一看，却并非梨花，也并非杏花。因此可知此花之色，有如梨花之白，又有如杏花之红。
“白白与红红”紧承发端二句，点明此花之为红、白二色。连下两组状色的叠字，极简炼、极传神地写出繁花似锦、二色并妍的风采，也暗指它风韵别具一格，既有梨花之白，又有杏花之红，白中带红，如佳人冰雪肌肤微露红晕，有娇羞之态。 “白白”、“红红”两组叠字，简练、传神，使人如亲眼目睹红粉交错、繁花满枝的娇妍景致。
“别是东风情味”上句才略从正面点明花色，此句词笔却又轻灵地宕开，不再从正面著笔，而从唱叹之音赞美此花之风韵独具一格，超拔于春天众芳之上。实在少此一笔不得。可是，这究竟是一种什么花呢？
“曾记。曾记。人在武陵微醉。”结笔仍是空际著笔，不过，虽未直接点出花名，却已作了不管之答。“曾记。曾记”，二语甚妙，不但引起读者的注意，呼唤起读者的记忆，且暗将词境推远。“人在武陵微醉”，武陵二字，暗示出此花之名。陶渊明《桃花源记》云：武陵渔人曾“缘溪行，忘路之远近，忽逢桃花林，夹岸数百步，中无杂树，芳华鲜美，落英缤纷。渔人甚异之，复前行，欲穷其林”，终于来到世外桃源。原来，此花属桃源之花，花名就是桃花。句中“醉”之一字，写出此花之为人所迷恋的感受。词境以桃花源结穴，馀味颇为深长。它可能意味着女词人的身份（宋词习以桃溪、桃源指妓女居处），也可能有取于桃花源凌越世俗之意。
此词所咏为红白桃花，这是桃花的一种，“桃品甚多……其花有红、紫、白、千叶、二色之殊。”（明李时珍《本草纲目·果部》）红白桃花，就是同树花分二色的桃花。北宋邵雍有《二色桃》诗：“施朱施粉色俱好，倾城倾国艳不同。疑是蕊宫双姊妹，一时携手嫁东风。”诗虽不及严蕊此词含蕴，但可借作为此词的一个极好注脚。
此词绝不同于一般滞于物象的咏物词，它纯然从空际著笔，空灵荡漾，不即不离，写出红白桃花之高标逸韵，境界愈推愈高远，令人玩味无极而神为之一旺。就艺术而言，可以说是词中之逸品。