晖上人的赠诗内容不明，从此诗意推测应是与秋居禅坐有关。因此，这首回赠诗开头从山林的幽静写起。“皎皎白林秋，微微翠山静”，秋居的山林禅院充满了幽寂的禅意。此诗中间两联写景咏物。颔联“禅居感物变，独坐开轩屏”，住在这僧房里感到了景色的变化和季令的推移，由于心绪无比烦乱，不禁打开门扇，独坐沉思幻想起来。这里点出了晖上人的禅悟境界。禅定使人心情平静，从而智慧现前。颈联“风泉居声杂，月露宵光冷”，描绘出一片清幽冷寂的境界，极具诗情画意，也颇具禅意。最后“多谢忘机人，尘忧未能整”二句，感叹世人不能如晖上人般忘却机心，饱受尘世烦扰，实在是无奈又可怜，表达了诗人对晖上人入景清明那种境界的追求。
此诗结构极其精巧。起承转合，自然从容。写景写人，浑融一体。陈子昂还有一首诗《同王员外雨后登开元寺南楼因酬晖上人独坐山亭有赠》，内容与此诗相关，可以互相参照。
这首诗首联从虚处入笔，借羡慕杜牧的才情自抑，达到总赞西湖美丽的目的，带出全篇；颔联和颈联从正面写西湖，以秾丽的笔墨，通过视觉、听觉、嗅觉、触觉，全方位地展示了赏心悦目的湖山旖旎风光。尾联说诗人产生了要做渔翁，融合进这美妙的图画中去的企盼。诗全篇浑成，起句高妙，中二联鲜华妍丽，有西昆诗风，对联也很工，以“茶鼓”对“酒旗”对得很巧；结句收煞得体。
诗篇一开端，就用感喟企望的语气，披露了诗人对西湖的赞赏之情。杜牧因写过许多描摹湖山的名作，而深受人们推崇，故李商隐有“刻意伤春复伤别，人间惟有杜司勋”（《杜司勋》）之句。这里借企慕杜牧来赞美西湖怎能得有杜牧那样的才华之士来西湖题诗，以赞誉人间的美景。写法上是借客尊主，从侧面入题，振起全篇。
人间虽难得有杜牧的才华，但来到湖上，光水色，赏心悦目，雅兴遄飞，正可吟诗。以此，中间四句转入对西湖春景的正面描写：西湖边处处寺院，缭绕着袅袅飘动的春烟，时而传出一阵集合僧人饮茶的鼓声；孤山下楼台亭榭，披上了夕阳的霞光异彩，屋角间高插着招徕顾客的酒旗；起伏的山岩中，盛开着万紫千红的春花，散发出浓郁的芳香；湖面游客的画船，冲破荡漾的波光摇前进，水花溅湿了刻画在船头上的双双翠鸟这是多么细腻真切的西湖春光图。中间四句，一句一景。写寺院，在春烟中响起茶鼓，足见其中香火之盛、僧徒之多；写楼台，于夕阳斜照中招展酒旗，暗示早晚游客不断，店铺繁忙。写山色，以“杂芳”烘染，“熏”三字，给人以浓香扑面之感。写湖光，借画舫点缀“破涟漪”一语，写出游船的幽闲和湖水的平静。无论游山泛湖，还是寻访寺院，登临楼台，人们所领略的无不是一派赏心悦目、春意盎然的旖旎风光。这里采用移步换景的手法，工笔刻画，不仅描摹出作用于视觉的生动画面，且从听觉、嗅觉、触觉各种角度，使读者感受到西湖春日的繁忙兴旺欣欣向荣。
尾联抒写诗人对西湖的总体感受，意义上同首联呼应，措辞上也同开端绾合。人生难有杜牧之才，人间却幸有蓑衣和苇笠，湖上题诗也许才情不够，驾起渔舟做一名钓翁总还可以吧。总之，寓西湖风光，恋恋不忍离去，不免产生栖身湖山的凝想和雅志，未能有诗才，幸能有蓑笠，不能作诗人，且可作钓叟。“幸”、“且”两词，回应上文“争得”，使结构谨严，浑然一体。
全诗四联均写景，无一句议论，无一句抒怀，但却弥漫着凄清的氛围，渗透着悲凉的情思。细细品味，如饮醇酒，回味无穷。
首联“秋夜访秋士，先闻水上音”奠定了全诗的感情基调。 “秋夜”本已凄清冷寂，而所访者又是“秋士”，更暗寓幽怨之意。古人云：“春女怨，秋士悲”。所谓“秋士”即谓暮年不遇者，借园主人当属此类。袁枚自己虽曾步入仕途，任过县令，但因升迁无望等原因，早于七年前辞官，隐居于南京小仓山随园。两人在感情上是相通的，诗人此行“访秋士”即是以此为前提的。当诗人步入借园，首先听到的“水上音”就是笛声。这笛声作为一种听觉意象是全诗的中心意象。它是借园主人心声的流露，感情的寄托。诗在首联引出“水上音”之后，中间两联即集中笔墨对其进行描写。但诗人并没有单纯地去描写笛声，而是以视觉意象“月色”及嗅觉意象“藕香”作为陪衬烘托，使笛声意味更加丰富感人。
颔联“半天凉月色，一笛酒人心”，乃是脍炙人口的名句。“一笛”指笛声，“酒人”指微醺的借园主人，他在借酒消愁之后，还嫌不足，又以笛声抒其情怀。在中国古诗中，笛声基本上都是幽怨悲哀的意象，这首诗中的“笛声”也不例外。“一笛酒人心”抒发的乃是“秋士”不遇的哀愁之心，而描写笛声在冰凉如水的月色中飘荡，仿佛笛声也浸透了清冷的月色，更增添了笛声凄怨的情韵。
笛声感情虽然哀怨，但借园主人吹奏技巧却十分高超，故颈联一转云：“响遏碧云凉，香传红藕深。”笛声嘹亮，仿佛阻遏了夜空中的碧云，同时水中飘来了红藕的幽香，与笛声交织往还，好像笛声也具有了香气。作者先闻“水上声”，既产生了感情的共鸣，又陶醉在音乐的享受之中，所以久久伫立，直到笛声结束，才想起要与友人相会。
尾联云：“相逢清露下，流影湿衣襟。”此联乃回应首句，当作者在秋夜听完友人的一曲笛声之后，终于迎来了与“秋士”的相逢之时，但他们却久久的相对无语，身影沉浸在流泻的月光下，显得格外宁静；他们的衣襟被清凉的窗露沾湿了，犹如他们的心灵也被凄清的笛声净化了一般。友人的心声已在笛声中倾诉殆尽，作为知心朋友，作者对此已经领会和理解，无须多问，亦不必多言，两人心灵达到了高度的默契。诗的收束像不尽的笛声的余音一样，让人回味无穷。
这首诗歌的主旨在于表现作者与李晴江作为知音的深厚友谊，诗中却无一语表达此意，只是写自己夜访友人听其“月下吹笛”时的景象与两人相逢时无言的情状，但自有一股感情之泉流注全篇，这也正体现了袁枚“凡作人贵直，而作诗文贵曲”（《随园夜话》）的诗论理念。