词中上片回忆与叶衡同游钟山，“独立苍茫醉不归，日暮天寒”，点明了具体地点与时间，“独立苍茫”、“日暮天寒”以苍茫无人来表明作者的孤寂，日暮天寒说明了环境的凄清，从而渲染了一种凄凉悲切的氛围，借陶渊明《归去来兮辞》的首句“归去来兮”，说明叶衡即将离开建康奔赴京城。“探梅踏雪几何时。”，回忆与友人当时一起在钟山上踏雪寻梅的经历，“雪”象征着纯洁，“梅”则象征着清高，傲岸的人格，词人与友人一起踏雪寻梅，则是说明两人志同道合，两人的友谊也是纯洁高尚的。“今我来思”和“杨柳依依”是《诗经·小雅·采薇》中的诗句，被作者直接引用，想象友人走后，自己一个人再来钟山那种“物是人非”的凄凉心境，化用即成的诗句，却毫无做作之感。
下片紧承“今我来思，杨柳依依。”“白石冈头曲岸西。一片闲愁，芳草萋萋。”几句，描写了友人离开以后的具体情景：白石岗依旧是长满了萋萋芳草，景色没有变，却没有同游之人，从而而心中充满了愁绪。“多情山鸟不须啼。”，则是对这种愁绪的强调——不用山中多情的鸟儿悲啼，心中自会惆怅不已。最后两句，引用《史记·李将军列传》中赞颂李广的话说明叶衡在建康的德政受到人们的称颂，叶衡本人也受到百姓的爱戴。
全诗八句可分为两层，都围绕“还”字来写。前四句写还山的原因，后四句设想还山后的情景。
诗的开头两句说山中带出信来，告诉诗人眼下已是耕种时节。“昨日”，不一定是确指，也可能是前些日子。不说故友捎信而说“山有信”，是一种委婉的说法，同时引出下文“还山”。隐居山中，时而读书，时而就种，魏晋以来一些隐居以求其志的士人们常常以这种方式生活，故信中以“耕种时”相告，催还之意自在其中。次两句紧承前两句，直接点出催还之意。“怪我还山迟”，乃是山中故友即“杜陵叟”“遥传”来的意思，用“遥传”，用“怪”，可见山中故友盼归之切，也看出诗人与他的情谊，故而不可不还。以上四句叙述，说自己当从速还山。
以下四句写还山后的情景，为诗人的设想。“独向潭上酌，无人林下期”，“潭上“林下”为高冠潭口的环境，“酌”和“期”为隐居之地的生活内容，说“独”，说“无”，可见诗人别弟还山后的孤独，其中透露出兄弟之间的深情。这两句虽是对别后情景的设想，但诗人也许在以往的山间生活中对此早有体验，因而不忍便与兄弟分别，“还山迟”的原因也许主要在于此。诗的最后两句仍设想还山后思念弟弟时的情景。“忆汝处”的“处”字，有彼时彼地之意。当诗人还山后想起弟弟的时候，既不能与弟弟同去潭边饮酒，又不能与弟弟携手林下同游，只能“闲卧对鸬鹚”，难以排遣的思念，难以割舍的留恋即在这一生活细节中含蓄地表现出来，不忍分别之情也就在其中了。也有人以为这后四句是转述杜陵叟的话，说杜陵里独处山间，如何思念诗人，如果这样理解，那么此篇便主要是写“杜陵叟”，似与别弟的意义不合。
这首诗写得极为平淡自然，很适于表达山问闲居情趣。而平淡自然中义含不尽之情。诗的前半写不得不归，后半写不忍便归，把故友之情、兄弟之情都表现得很含蓄，很真切。
