诗一落笔，就描绘出了一幅落日余辉中，渔舟唱晚、轻棹击水的耶溪夕照图：“落景余清辉，轻桡弄溪渚”。诗人开始就描绘江南独有的景色：溪水上一只小舟漂浮，舟人轻轻摆动着船桨，在落日余辉中自由自在地欣赏着大自然的美景。一片斜阳照到水面，浮现出烟雨空濛的景象，水面上一层一层的细浪，受了残阳的反照，一时光辉起来，那夕阳金色的浅光，映着洲渚的小草、两岸的绿野，镶出西边天际的一抹绛红、深紫。
“澄明爱水物，临泛何容与”是写诗人临水泛舟看到在明净如镜的溪水中，观赏游鱼追逐嬉戏，三五成群，在水草和细石下钻进钻出。
耶溪的水色山光，使诗人乐而忘返，而江南的风土人情、岸边的渔村竹寨，更使诗人如入桃源仙境。“白首垂钓翁，新妆浣纱女”两句，概括地表现了江南生活的恬静安谧。蓑衣箬笠的老翁，在夕阳中垂钓却悠然自得；梳妆整齐、淡雅的村姑少女，在传说中曾是西施浣的耶溪水边洗衣、谈笑，欢声笑语更衬托出山村的幽静安宁。
结尾“相看似相识，脉脉不得语。”是诗人情感的自然流露。这恬静和乐的山村，与陶渊明笔下的桃花源非常相似，又与诗人孟浩然失意后的隐逸心情和谐一致。因此，这“似相识”确是诗人的思绪所念，是情之所至，而与那垂钓翁、浣纱女陌路相逢，素不相识，虽则情感相通，却只能脉脉相视而已。
这是一首怀人诗，但标题却不明题怀人，而偏说怀地，以离恨千端的绵绵情怀，追忆当日的别情。诗人极写扬州明月，用“无赖”之“明月”把扬州装点出无限的风姿，与标题吻合无间，使诗歌产生令人惊叹的艺术效果。
“萧娘脸薄难胜泪，桃叶眉尖易觉愁”，极写当日的别离景象。所谓“相见时难别亦难”，“萧娘”、“桃叶”均代指所思；“愁眉”、“泪眼”似是重复，而用一个“难”字和一个“易”字表达出来，不但不显得累赘，反而有反复留连、无限萦怀之感。当日的愁眉，当日的泪眼，以及当日的惨痛心情，都作成别离后无穷的思念。
“天下三分明月夜，二分无赖是扬州”，在这思念殷切的时候，诗人唯觉一片惆怅，没有可以诉说的人，于是，抬头而见月，但此月偏偏又是当时扬州照人离别之月，更加助愁添恨。虽然时光冲淡了当日的凄苦，却割不断缠绵的思念。这种挣不断、解不开的心绪，本与明月无关，但它曾照过离人的泪眼，好比对人有情，而离别后偏偏照着愁人，又好像无动于衷，这便显得“可憎”。
诗人在深夜抬头望月的时候，原本欲解脱这一段愁思，却想不到月光又来缠人，所以说“明月无赖”。“无赖”二字，原本有褒和贬的两重意义，这里因明月恼人，有抱怨的意思。但后世因为惊赏这种扬州明月的新奇形象，就离开了诗人原意，把它截下来只作为描写扬州夜月的传神警句来欣赏，这时的“无赖”二字又成为爱极的昵称了。这也是形象有时会大于作者构思的一例。
古人律体绝句的结尾处，有时用一种叫做“一笔荡开”的方法，往往会产生一种“寄意无穷”的效果。这首诗所不同的，是它不在第四句用，而在第三句时即已“荡开”。说愁眉，说泪眼，虽然作者余情未尽，而其他的事情已不必增添，于是忽然揽入一轮明月，以写无可奈何的情态，体现了构思的险谲。这两句看似将全诗截为两段，实际上则是欲断不断，题中用“忆”字，将全诗连贯起来，依然是“剪不断，理还乱”的“别是一般滋味”。本来月光普照，遍及人寰，并不偏宠扬州。而扬州的魅力，也不是仅在月色。
诗为传神，有时似乎违反常理，却能深入事理骨髓。“三分”、“无赖”的奇幻设想，也有它的渊源与影响。《论语》中有“三分天下有其二以服事殷。”不过这是赞颂周文王的句子，没有半点诗意。谢灵运说：“天下才有一石，曹子建独占八斗，我得一斗，天下共分一斗。”而徐凝这首诗中的“三分之二”不但是诗意的，而且是新奇的。这些数目字，都不可以常理而论，而具有很强的艺术效果，致使后世之人对扬州的向往如醉如痴，“二分明月”成为扬州的代称。此后宋人苏轼的《水龙吟·次韵章质夫杨花词》中“春色三分，二分尘土，一分流水”也不逊色。至于“月色无赖”，后世如王安石“春色恼人眠不得，月移花影上栏杆”中的“春色恼人”，即运用了同一手笔。
