诗一落笔，就描绘出了一幅落日余辉中，渔舟唱晚、轻棹击水的耶溪夕照图：“落景余清辉，轻桡弄溪渚”。诗人开始就描绘江南独有的景色：溪水上一只小舟漂浮，舟人轻轻摆动着船桨，在落日余辉中自由自在地欣赏着大自然的美景。一片斜阳照到水面，浮现出烟雨空濛的景象，水面上一层一层的细浪，受了残阳的反照，一时光辉起来，那夕阳金色的浅光，映着洲渚的小草、两岸的绿野，镶出西边天际的一抹绛红、深紫。
“澄明爱水物，临泛何容与”是写诗人临水泛舟看到在明净如镜的溪水中，观赏游鱼追逐嬉戏，三五成群，在水草和细石下钻进钻出。
耶溪的水色山光，使诗人乐而忘返，而江南的风土人情、岸边的渔村竹寨，更使诗人如入桃源仙境。“白首垂钓翁，新妆浣纱女”两句，概括地表现了江南生活的恬静安谧。蓑衣箬笠的老翁，在夕阳中垂钓却悠然自得；梳妆整齐、淡雅的村姑少女，在传说中曾是西施浣的耶溪水边洗衣、谈笑，欢声笑语更衬托出山村的幽静安宁。
结尾“相看似相识，脉脉不得语。”是诗人情感的自然流露。这恬静和乐的山村，与陶渊明笔下的桃花源非常相似，又与诗人孟浩然失意后的隐逸心情和谐一致。因此，这“似相识”确是诗人的思绪所念，是情之所至，而与那垂钓翁、浣纱女陌路相逢，素不相识，虽则情感相通，却只能脉脉相视而已。
词的上片以惜花托出别恨，起首三句描绘春深花落景象。所谓“卷絮风头”，可参看章质夫咏絮词的形容：“傍珠帘散漫，垂垂欲下，依前被、风扶起。”昔人又多以飞絮落花作为寒意将尽的晚春季节的特色，如“绿阴春尽、飞絮绕香阁”，“落红铺径水平池，弄晴小雨霏霏。杏园憔悴杜鹃啼、无奈春归”。下面“坠粉飘香”等等，进一步形象地刻绘了花儿的飘谢，斜风过处，但见落英纷纷，清芬沁人，真如小晏词所云：“东风又作无情计，艳粉娇红吹满地。”这些虽说是写晚春景色，而惜春之意也蕴含其中。
“新酒”两句。转而直接抒情，情感的内涵由惜春转向怀人，并通过以酒遣愁的细节强化这种情感。“又添”两字，加强语气，径直道出因怀人而中酒频仍。“残酒困”，是从“残花中酒”，又是去年病“生发而来。全句与”借酒浇愁愁更愁“的意思接近。”不减“两字，作一回旋。虽说所思远道，只能以酒消愁，而离恨却并不因为分别时间久长而稍有减退。这样，语气更显得委婉，而语意也深入了一层。
词的下片，因音问断绝而更增暮愁过片三句，极写孤独之感，不惟无人可问，连蝴蝶儿、黄莺儿也都飞往别处，只剩下自己独倚高楼，凝望碧水。双鱼，指书信。古诗云：“客从远方来，遗我双鲤鱼；呼儿烹鲤鱼，中有尺素书。”小晏《留春令》曰：“别浦高楼曾漫倚，对江南千里。楼下分流水声中，有当日凭高泪。”前者以碧水兴起双鱼，引出倚楼盼望来书而终归失望之情。后者从流水声中联想当年倚楼怀人泪滴入水的景象；一是盼而不得，一为忆而弥悲，都能表达出真挚的情意。
结末两句，抒写了因怀人，伤春而生发的绵绵愁恨。横波，指美目。李白诗云：“昔为横波目，今作流泪泉。”“秋一寸”，也指目，李贺诗有“一双瞳人剪秋水”之句。“恼乱”犹言撩乱，黄昏景色撩乱她的眼目，更触动了她的愁绪。沈际飞云：“斜阳目，各有其境，不必相同。一云‘却照深深院’，一云‘只送平波远’，一云‘只与黄昏近’，句句沁入毛孔皆透。”“斜阳却照深深院”，是说午梦酒醒，但见小院深深，春色已尽，只有斜阳一片，徘徊不去。“斜阳只送平波远”写行人乘舟去远，唯见一抹残阳，映照平波，悠悠而逝。两者都是以夕照下的景色衬托离愁。而“只与黄昏近”是接上面“恼乱”句而来，“夕阳无限好，只是近黄昏”，眼见白昼将尽，长夜即至，送春滋味，念远情怀，此处不说愁恨而愁恨自见。
王灼《碧鸡漫志》云：“赵德麟、李方叔皆东坡客，其气味殊不近，赵婉而李俊，各有所长。”的确，赵氏之词以清丽婉转见长，此词正体现了这一风格。
