诗一落笔，就描绘出了一幅落日余辉中，渔舟唱晚、轻棹击水的耶溪夕照图：“落景余清辉，轻桡弄溪渚”。诗人开始就描绘江南独有的景色：溪水上一只小舟漂浮，舟人轻轻摆动着船桨，在落日余辉中自由自在地欣赏着大自然的美景。一片斜阳照到水面，浮现出烟雨空濛的景象，水面上一层一层的细浪，受了残阳的反照，一时光辉起来，那夕阳金色的浅光，映着洲渚的小草、两岸的绿野，镶出西边天际的一抹绛红、深紫。
“澄明爱水物，临泛何容与”是写诗人临水泛舟看到在明净如镜的溪水中，观赏游鱼追逐嬉戏，三五成群，在水草和细石下钻进钻出。
耶溪的水色山光，使诗人乐而忘返，而江南的风土人情、岸边的渔村竹寨，更使诗人如入桃源仙境。“白首垂钓翁，新妆浣纱女”两句，概括地表现了江南生活的恬静安谧。蓑衣箬笠的老翁，在夕阳中垂钓却悠然自得；梳妆整齐、淡雅的村姑少女，在传说中曾是西施浣的耶溪水边洗衣、谈笑，欢声笑语更衬托出山村的幽静安宁。
结尾“相看似相识，脉脉不得语。”是诗人情感的自然流露。这恬静和乐的山村，与陶渊明笔下的桃花源非常相似，又与诗人孟浩然失意后的隐逸心情和谐一致。因此，这“似相识”确是诗人的思绪所念，是情之所至，而与那垂钓翁、浣纱女陌路相逢，素不相识，虽则情感相通，却只能脉脉相视而已。
上阕描写春游的所见所感。开端从春景写起。“与客携壶”，开头便是借酒浇愁。“梅花”两句交待时令，已到仲春，更兼风雨，摧残梅花情景可知。情亦如花，倍受间隔。“自语”“啄”“度”将鸟儿的可爱情态描摹得栩栩如生。由这美丽的春光，自然地过渡到了对春衣的描写。词人身上穿着的春衣，都是恋人用白晰柔嫩的手亲自剪裁的，那衣服上至今还残留着一些断线残丝。词人将恋人的手比做柔荑，娇艳动人，令人产生无限美好的遐想。“再见无路”表达的是一片无奈的心情，与崔护的“人面不知何处去，桃花依旧笑春风”（《题都城南庄》）有异曲同工之妙。
下阕则描写故地凝思。“凝伫”二字看似写状态，实则写心情。在物是人非之时重游旧地，或属无心，或似有意，管不住双脚似的来到曾经良辰美景的庭院，但见人去楼空。在美人门前呆呆且久久地凝望。往事如烟，却又历历在目。“但系马垂杨，认郎鹦鹉”八字以清淡萧条之笔写现下孤寂心态，更反衬昔日的风流。“系马垂杨”写当年潇洒神色，俊逸风采。一个’但”字，又勾回现今。“认郎鹦鹉”写常来常往之熟稔，而今垂杨依旧，无马可系，只剩一片凄凉。此处鹦鹉或许一如往常地在招呼来客，但对词人来说，却已事过境迁，人面不知何处。“扬州梦觉”化用杜牧的“十年一觉扬州梦”（《遣怀》），表达了和杜牧相似的感情历程。“彩云飞过”或象征过去的那段美好恋情，或象征昔日的爱人，如今都化为陈迹，再也寻访不到了。这里词人一片痴心，都化作对燕子的喃喃私语，流露出无限的深情。“吟袖弓腰”，以局部代表整体，从中可以想象出伊人身姿的曼妙。“倩梁间燕”，这富有情致的一笔。结尾几句自伤自叹，空怀悲戚。
此词写追怀旧情。上阙由眼前风雨摧花、耳边幽禽独语、衣上残茸半缕，引出对旧情的思念和相见无路的怅恨。下阙以“凝伫”承上启下，旧游处仅见垂扬、鹦鹉，又感慨今日物是人非；虽知人去梦醒，却又欲罢不能，而向梁间燕子殷勤寄语；最后明知多情误人，虚度年华，仍在苦涩中咀嚼昔日的甜美。全词从细微处着笔，以小见大，以景衬情，回环蕴藉。这首词虽是伤春怀人之作，然而读后并不觉得沉重，清新的语言，婉转的情调，使它成为描写思念之情的动人佳作。
