这首诗的前半首从黄昏到深夜，再到次日清晨，着重状景，景中寓情。后半首回忆往事，感慨当前，着重摛情，情与景融。
首两句以兴体起笔，物与人对照鲜明。西林寺在庐山香炉峰西南风景绝佳处。东晋高僧慧远居东林寺，其弟慧永居西林寺，恰巧他们也俗姓贾。无可到庐山，长居西林寺，深念贾岛，也许与此有些渊源。这二句写暮色苍茫，草虫喧叫；作者静坐禅房，沉思不语。一喧一默，一动一静，相映益彰。
三、四句写无可蒲团跌坐，晨夕见闻。在苍苔露冷、菊径风寒的秋夜，蛩声凄切、人不成寐的五更，听觉是最灵敏的。诗人只听得松涛阵阵，秋雨潇潇，一直听到更漏滴残（“彻”）。奇妙的是，天亮开门一看，并未下雨，惟见积得很厚的满庭落叶（“深”）。这真是妙事妙语。宋魏庆之在《诗人玉屑》中说：“唐僧多佳句，其琢句法比物以意，而不指言一物，谓之象外句，如无可上人诗曰‘听雨寒更尽，开门落叶深’，是落叶比雨声也。”所谓“象外句”，“超以象外，得其圜中”（唐司空图《诗品·雄浑》），即跳出字面物象之外，才能得其个中三昧。“听雨寒更彻，开门落叶深”二句，写的是“落叶”，而偏说是“听雨”，意思又不在“听雨”，而是写长夜不眠，怀念贾岛。这个象外句要比直写深入两层。
五、六句转入往事回忆。曩昔，兄弟二人同在京城长安时，贾岛屡试不第，积忧成疾，曾与无可相约，仍回山皈依佛门。一个“病”字，齐下双管。一写贾岛名落孙山的忧愤之病；一写朝廷昏庸，不识人才，国事不可救药之病。两病相加，不能不起泛舟洞庭、归隐渔樵之心。当年无可离京时，贾岛《送无可上人》诗云：“终有烟霞约，天台作近邻。”这应是无可此联诗“昔因京邑病，并起洞庭心”的最好注脚。
事实上贾岛此后并没有赴“烟霞约”。因而无可说：“亦是吾兄事，迟回共至今。”“吾兄事”应指贾岛浮沉宦海、迷航不悟之事。岛虽不第而尘心未泯，苦苦干禄，也只做了个长江主簿。这在高蹈逃禅的无可看来，早应遁迹，太“迟回”了，可“吾兄”仍是追逐名禄，实在是自惹烦愁。从“共”字看，无可此刻还是期望贾岛能够同赴“烟霞约”，舍筏登岸的。
后半首的前尘回顾与前半首的眼前即景要协调统一，“落叶”二字当成为前后的关锁支点。首二句写暮色、虫喧、默思、静坐，是为听落叶作势，三、四句写置身于深山、深寺、深秋、深夜之中，金风扫落叶，直似一派狂飚骤雨。这是正面写听落叶。后四句是写听落叶的余波，也是听落叶的襟怀。常言说“落叶归根”，无可深更听落叶，不能不想到他与从兄贾岛的“烟霞约”、“洞庭心”；惜贾岛至今尚浪迹尘俗，叶虽落而不得归根，那么，后四句所表述的情怀就自然地奔泻而出。可以说这首诗实质写的是“听落叶有怀”，通首诗的诗眼就落在“落叶”上。
这首诗前四句写景，而情寓景中；后四句叙事，情亦现事里。全诗写景、叙事、抒情三结合，圆融为一体，结构严整。诗人以兴开篇，物人互映，动静对写，使得对比鲜明。并运用错觉感官，别具情趣，耐人咀嚼。作者无可以此诗代柬寄赠贾岛，表达了他的思念之情和劝归之意。
首句不谈忧，而是谈喜；不说老，而忆少。从诗中可以同时看到他少年生活的一个片断。诗人回忆年少之时，无忧无虑，体魄健全，精力充沛，真是朝气蓬勃。所谓“健如黄犊走复来”，就是生动的写照。清杨伦称此句“形容绝倒，正为衬出下文”（《杜诗镜铨》卷八）。庭前，八月梨枣熟，一日上树能千回。即当梨枣成熟之时，少年杜甫频频上树摘取，一日千回。所谓“千回”，只是夸张的语气，喻其多也。少年杜甫“心尚孩”，这个尚字用得非常贴切，说明了一颗天真无邪的童心，在十五岁时，仍在持续跳跃着。一个“尚”字，就概括了杜甫由童年到少年的天真烂漫、活泼可爱。诗人抓住了少年的气质、性格特征，以跳动的笔触把它活灵活现地勾勒出来。这里并非没有目的地表现少年自我，也不是用喜悦的心情颂扬少年自我，而是以忧伤的心情去回忆少年自我的无忧无虑的生活，因而就深深地蕴含着悲痛、愤懑的感情。杨伦对这首诗开头的眉批是：“聊以泄愤，不嫌径直。”（《杜诗镜铨》卷八）
“即今倏忽已五十，坐卧只多少行立。”诗人虽用“倏忽”二字，然从“十五”至“五十”其间沧桑都是读者可以想见。由于年老力衰，行动不便，因此坐卧多而行立少。体弱至此，却不能静养，因生活无着，还须出入于官僚之门，察言观色，养活一家老小。一生不甘俯首低眉，老来却勉作笑语，迎奉主人。内心痛苦不言而喻。不禁悲从中来，忧伤满怀，而发出“悲见生涯百忧集”的概叹。此为全诗之诗眼，它把诗人的情绪凝聚到“悲”字上。它不仅因老而悲，也因贫而悲，更因依附别人、缺乏自身独立存在的价值而悲。尤可悲者，诗人不是悲一时一事，而是悲其一生。悲其一生为人民而悲。“悲见生涯百忧集”实具有高度的概括性，这是全诗主线，它与诗题相呼应，又因往昔境遇凄惨而悲，联想到当时老窘之境而悲，在结构上可谓承上；由此出发，为以下具体描写家贫先写一笔，可谓启下。“入门依旧四壁空，老妻睹我颜色同。痴儿不知父子礼，叫怒索饭啼门东。”写家中凄景。一进家门，依旧四壁空空，家无余粮，一贫如洗。老夫老妻，相对无言，满面愁倦之色。只有痴儿幼稚无知，饥肠辘辘，对着东边的厨门，啼叫发怒要饭吃，经过诗人的具体描写，其忧伤痛苦之状，如在眼前。为了表现百感交集的感慨，诗人以数字强化衬托悲状，强化悲的情怀。例如，诗中以“十五”比“五十”，就划分了自我的两个时代。以“ 八月”果熟，“一日”上树“千回”，来形容“十五”岁的少年的灵敏活跃，天真烂漫。用“四壁空”写“百忧集”，就充实了忧的内容。用“健如黄犊”对比“坐卧只多”，用“走复来”对比“少行立”，用“强作笑语”对比“悲见生涯”，更见出悲的氛围之浓。尤其令人心酸的是，诗人还将自己的童心少年和自己的痴儿作了对比。自己年少时，无忧无虑，不愁吃穿，却想不到已入老境之际，自己的儿子却饥饿难忍，啼叫怒索。在诗人笔下，不仅如实地表现了自己的凄凉处境，而且逼真地写出了老妻、痴儿的表情、姿态，非常富于人情味。
杜甫在《进雕赋表》中，称自己的作品善于“沉郁顿挫”。这也表现在《百忧集行》中。它“悲愤慷慨，郁结于中”，“沉郁苍凉，跳跃动荡”（陈廷焯《白雨斋词话》卷一）。诗人不幸的遭遇，切身的体验，内心的痛楚，在诗中化为一股股情感流 。它回旋激荡，悲愤呼号，久久不息。
词的主题是怀人，于忆旧中抒写相思之情。首先从空间着笔，展开一个立体空间境界。杏花村馆的酒旗在微风中轻轻飘动，清清的流水，静静地淌着。花，已经谢了，春风吹过，卷起阵阵残红。这是暮春村野，也是作者所处的具体环境。这一切都显示出“流水落花春去也”，在作者的心态上抹上了一层淡淡的惆怅色彩。杏花村与酒连在一起，出自杜牧《清明》诗“借问酒家何处有，牧童遥指杏花村。”后来酒店多以杏花村为名。
“野渡舟横，杨柳绿阴浓。”“野渡”句用韦应物《滁州西涧》诗“野渡无人舟自横”，“野渡舟横”显出了环境的凄幽荒凉。而一见到“杨柳绿阴浓”，又不免给词人增添了一丝丝离愁。杨柳往往与离愁别恨联在一起，杨柳成为了离别的象征物。“楼前绿暗分携路，一丝柳，一寸柔情。”（吴文英《风入松·听风听雨过清明》）“绿阴浓”，也含有绿暗之意。清幽荒寂的野渡，象征离愁别恨的杨柳，与上文所形成的淡淡的惆怅色彩是和谐一致的。这一切又为下文“望断江南山色远，人不见，草连空”的怀人怅别作了铺垫，渲染了环境氛围。经过上文渲染、铺垫之后，“人不见”的“人”就不是凭空出现的了。“望断江南山色远，人不见，草连空。”谢逸是江西临川人，也是江南人了。他一生虽工诗能文，却科场不利，屡试不第，以布衣终老。这样一位落拓文人，身在异乡，心情凄苦，自不待言，远望江南，青山隐隐，连绵无际，相思离别之情，油然而生。意中人远在江南，可望而不可见，可见的惟有无穷无尽的春草，与天相接，延伸到无限遥远的远方。而春草又是容易引起离别相思的物象。《楚辞·招隐士》：“王孙游兮不归，春草生兮萋萋”。“离恨恰如春草，更行更远还生。”（李煜《清平乐·别来春半》）词人用了一个远镜头，远望春草连天，伊人缺不知在何处，心驰神往，离恨倍增。
过片紧接上片，由望断江南而人不见的相思之苦，自然转入到回忆往事。“夕阳……画屏中”五句全是回忆往事，由上片的从空间着笔转入到下片的时间追忆。五句都是“记得”的内容，都应由“记得”领起。但“文似看山不喜平，”词尤忌全用平铺直叙，所以作者从回忆开始，马上描绘形象，而不从叙事入手。在一个夕阳西下的美好时刻，楼外晚烟轻笼，在这漫馨旖旎的环境里，一位绝色佳人出现了。融融脂粉，香气宜人，淡淡眉峰，远山凝翠。词人不多作铺叙笔法写她的面容、体态，而采用以部分代整体的借代修辞法，只写她的眉峰、粉香，其他就可想而知了。较之尽情铺叙，一览无余，更令人神往。这是很鲜明的形象，在词人记忆的荧光屏上永远不会消失。然后再用补写办法，补叙往事：“记得年时，相见画屏中。”这说明上面的一切都发生在楼上的画屏中。最后作者提出了一个问题：“相见以后是很快就离别了呢，还是共同生活了一段时间？”作者却不再作任何说明。填词也如绘画，绘画不能把整个纸面全部画满，什么都画尽，而应该留下适当的空白，笔尽而意不尽。填词也要留有空白，留有让读者想象的余地。
回忆至此，一笔顿住，将时间拉回到眼前，“只有关山今夜月，千里外，素光同。”回忆的风帆驶过之后，词人不得不面对现实。关山迢递，春草连天，远望佳人，无由再见。词人心想：只有今夜天上的一轮明月照着他乡作客的我，也照着远隔千里的她，我们只有共同向明月倾诉相思，让我们通过明月交流心曲吧！“美人迈兮音尘阙，隔千里兮共明月。”（南朝宋谢庄《月赋》）“但愿人长久，千里共婵娟。”（苏轼《水调歌头》）词人此时的心境也许与此相似。谢逸著《溪堂词》。毛子晋云：“溪堂小令，皆轻倩可人。”《词苑丛谈》称其词“标致隽永。”此词亦颇近之。
此词写完之后，凡是住到这个房问的人，都反复吟咏这首词，并纷纷向驿卒索要笔墨纸张将其抄写下来。驿卒觉得很麻烦，便偷偷用白粉将此词涂抹掉，这才制止了人们的抄写。可见，这首词在当时是多么受人欢迎。