全诗四联均写景，无一句议论，无一句抒怀，但却弥漫着凄清的氛围，渗透着悲凉的情思。细细品味，如饮醇酒，回味无穷。
首联“秋夜访秋士，先闻水上音”奠定了全诗的感情基调。 “秋夜”本已凄清冷寂，而所访者又是“秋士”，更暗寓幽怨之意。古人云：“春女怨，秋士悲”。所谓“秋士”即谓暮年不遇者，借园主人当属此类。袁枚自己虽曾步入仕途，任过县令，但因升迁无望等原因，早于七年前辞官，隐居于南京小仓山随园。两人在感情上是相通的，诗人此行“访秋士”即是以此为前提的。当诗人步入借园，首先听到的“水上音”就是笛声。这笛声作为一种听觉意象是全诗的中心意象。它是借园主人心声的流露，感情的寄托。诗在首联引出“水上音”之后，中间两联即集中笔墨对其进行描写。但诗人并没有单纯地去描写笛声，而是以视觉意象“月色”及嗅觉意象“藕香”作为陪衬烘托，使笛声意味更加丰富感人。
颔联“半天凉月色，一笛酒人心”，乃是脍炙人口的名句。“一笛”指笛声，“酒人”指微醺的借园主人，他在借酒消愁之后，还嫌不足，又以笛声抒其情怀。在中国古诗中，笛声基本上都是幽怨悲哀的意象，这首诗中的“笛声”也不例外。“一笛酒人心”抒发的乃是“秋士”不遇的哀愁之心，而描写笛声在冰凉如水的月色中飘荡，仿佛笛声也浸透了清冷的月色，更增添了笛声凄怨的情韵。
笛声感情虽然哀怨，但借园主人吹奏技巧却十分高超，故颈联一转云：“响遏碧云凉，香传红藕深。”笛声嘹亮，仿佛阻遏了夜空中的碧云，同时水中飘来了红藕的幽香，与笛声交织往还，好像笛声也具有了香气。作者先闻“水上声”，既产生了感情的共鸣，又陶醉在音乐的享受之中，所以久久伫立，直到笛声结束，才想起要与友人相会。
尾联云：“相逢清露下，流影湿衣襟。”此联乃回应首句，当作者在秋夜听完友人的一曲笛声之后，终于迎来了与“秋士”的相逢之时，但他们却久久的相对无语，身影沉浸在流泻的月光下，显得格外宁静；他们的衣襟被清凉的窗露沾湿了，犹如他们的心灵也被凄清的笛声净化了一般。友人的心声已在笛声中倾诉殆尽，作为知心朋友，作者对此已经领会和理解，无须多问，亦不必多言，两人心灵达到了高度的默契。诗的收束像不尽的笛声的余音一样，让人回味无穷。
这首诗歌的主旨在于表现作者与李晴江作为知音的深厚友谊，诗中却无一语表达此意，只是写自己夜访友人听其“月下吹笛”时的景象与两人相逢时无言的情状，但自有一股感情之泉流注全篇，这也正体现了袁枚“凡作人贵直，而作诗文贵曲”（《随园夜话》）的诗论理念。
这首诗的前半首从黄昏到深夜，再到次日清晨，着重状景，景中寓情。后半首回忆往事，感慨当前，着重摛情，情与景融。
首两句以兴体起笔，物与人对照鲜明。西林寺在庐山香炉峰西南风景绝佳处。东晋高僧慧远居东林寺，其弟慧永居西林寺，恰巧他们也俗姓贾。无可到庐山，长居西林寺，深念贾岛，也许与此有些渊源。这二句写暮色苍茫，草虫喧叫；作者静坐禅房，沉思不语。一喧一默，一动一静，相映益彰。
三、四句写无可蒲团跌坐，晨夕见闻。在苍苔露冷、菊径风寒的秋夜，蛩声凄切、人不成寐的五更，听觉是最灵敏的。诗人只听得松涛阵阵，秋雨潇潇，一直听到更漏滴残（“彻”）。奇妙的是，天亮开门一看，并未下雨，惟见积得很厚的满庭落叶（“深”）。这真是妙事妙语。宋魏庆之在《诗人玉屑》中说：“唐僧多佳句，其琢句法比物以意，而不指言一物，谓之象外句，如无可上人诗曰‘听雨寒更尽，开门落叶深’，是落叶比雨声也。”所谓“象外句”，“超以象外，得其圜中”（唐司空图《诗品·雄浑》），即跳出字面物象之外，才能得其个中三昧。“听雨寒更彻，开门落叶深”二句，写的是“落叶”，而偏说是“听雨”，意思又不在“听雨”，而是写长夜不眠，怀念贾岛。这个象外句要比直写深入两层。
五、六句转入往事回忆。曩昔，兄弟二人同在京城长安时，贾岛屡试不第，积忧成疾，曾与无可相约，仍回山皈依佛门。一个“病”字，齐下双管。一写贾岛名落孙山的忧愤之病；一写朝廷昏庸，不识人才，国事不可救药之病。两病相加，不能不起泛舟洞庭、归隐渔樵之心。当年无可离京时，贾岛《送无可上人》诗云：“终有烟霞约，天台作近邻。”这应是无可此联诗“昔因京邑病，并起洞庭心”的最好注脚。
事实上贾岛此后并没有赴“烟霞约”。因而无可说：“亦是吾兄事，迟回共至今。”“吾兄事”应指贾岛浮沉宦海、迷航不悟之事。岛虽不第而尘心未泯，苦苦干禄，也只做了个长江主簿。这在高蹈逃禅的无可看来，早应遁迹，太“迟回”了，可“吾兄”仍是追逐名禄，实在是自惹烦愁。从“共”字看，无可此刻还是期望贾岛能够同赴“烟霞约”，舍筏登岸的。
后半首的前尘回顾与前半首的眼前即景要协调统一，“落叶”二字当成为前后的关锁支点。首二句写暮色、虫喧、默思、静坐，是为听落叶作势，三、四句写置身于深山、深寺、深秋、深夜之中，金风扫落叶，直似一派狂飚骤雨。这是正面写听落叶。后四句是写听落叶的余波，也是听落叶的襟怀。常言说“落叶归根”，无可深更听落叶，不能不想到他与从兄贾岛的“烟霞约”、“洞庭心”；惜贾岛至今尚浪迹尘俗，叶虽落而不得归根，那么，后四句所表述的情怀就自然地奔泻而出。可以说这首诗实质写的是“听落叶有怀”，通首诗的诗眼就落在“落叶”上。
这首诗前四句写景，而情寓景中；后四句叙事，情亦现事里。全诗写景、叙事、抒情三结合，圆融为一体，结构严整。诗人以兴开篇，物人互映，动静对写，使得对比鲜明。并运用错觉感官，别具情趣，耐人咀嚼。作者无可以此诗代柬寄赠贾岛，表达了他的思念之情和劝归之意。
上片借道别叙说人间的聚散离合，表明惜别之情。开篇道明送别之意，已经说好就将归去，以为迎来送往，是一件令人感伤的事。人的一生竟然就那么短促，几番离合，便到了迟暮之年。一生中最让人津津乐道是，西窗下翦烛夜话，在一起追忆巴山夜雨时的情景。而这种相聚，却只是暂时的。滚滚长江，萧萧落木。转眼间，大雁哀鸣，遥天飞去，又是一个送别的季节。黄叶下，秋天已是这么深沉、这么厚重。
下片就对方的遭遇，表达观感，写慰藉之意。对秋景的描写，并用“白雁哀鸣去”隐射行人，更加深加浓了惜别恋友的深情。过片一句转入对西溟身世的怅惋和同情。故下片一面抒写痛惜西溟之“落魄”、“未遇”，一而又诚挚地劝慰他家中“有解忆”之儿女，可享天伦，这总比淹留冷烟寒月的寺庙要好，而且“信古来、才命真相负”，更以达观的人生态度相慰。结句则是再表惜别之意。此中借典形容，层层转进，真纯深挚的情意确是感人。
大体上看，上片、下片，泛写与专指，在材料分配上，显得很分明，但其组合也相当严谨。这就是一个“归”字的贯穿。这一个“归”字，在换头位置，承上启下。既是上片所说离合的一个因素，又是下片所说愁绪的中介。由于“归”，故有聚散；由于“归”，故有烦恼。其一般和个别的关系，也就集中体现在与相言别的人物身上。所谓以文为词，当中意脉仍十分清晰。