全诗八句可分为两层，都围绕“还”字来写。前四句写还山的原因，后四句设想还山后的情景。
诗的开头两句说山中带出信来，告诉诗人眼下已是耕种时节。“昨日”，不一定是确指，也可能是前些日子。不说故友捎信而说“山有信”，是一种委婉的说法，同时引出下文“还山”。隐居山中，时而读书，时而就种，魏晋以来一些隐居以求其志的士人们常常以这种方式生活，故信中以“耕种时”相告，催还之意自在其中。次两句紧承前两句，直接点出催还之意。“怪我还山迟”，乃是山中故友即“杜陵叟”“遥传”来的意思，用“遥传”，用“怪”，可见山中故友盼归之切，也看出诗人与他的情谊，故而不可不还。以上四句叙述，说自己当从速还山。
以下四句写还山后的情景，为诗人的设想。“独向潭上酌，无人林下期”，“潭上“林下”为高冠潭口的环境，“酌”和“期”为隐居之地的生活内容，说“独”，说“无”，可见诗人别弟还山后的孤独，其中透露出兄弟之间的深情。这两句虽是对别后情景的设想，但诗人也许在以往的山间生活中对此早有体验，因而不忍便与兄弟分别，“还山迟”的原因也许主要在于此。诗的最后两句仍设想还山后思念弟弟时的情景。“忆汝处”的“处”字，有彼时彼地之意。当诗人还山后想起弟弟的时候，既不能与弟弟同去潭边饮酒，又不能与弟弟携手林下同游，只能“闲卧对鸬鹚”，难以排遣的思念，难以割舍的留恋即在这一生活细节中含蓄地表现出来，不忍分别之情也就在其中了。也有人以为这后四句是转述杜陵叟的话，说杜陵里独处山间，如何思念诗人，如果这样理解，那么此篇便主要是写“杜陵叟”，似与别弟的意义不合。
这首诗写得极为平淡自然，很适于表达山问闲居情趣。而平淡自然中义含不尽之情。诗的前半写不得不归，后半写不忍便归，把故友之情、兄弟之情都表现得很含蓄，很真切。
作者乡居曲江的末期时，经过几年的冷静思索，余靖对田园生活渐能适应，心情也已大大平和下来。该诗描写秋日傍晚的山村景色，塑造出一个悠闲自得的作者形象，在对自然景物的描写中带着孤独惆怅之情。
一开头，诗人就把读者带进了一幅凄清孤寂的图画里，不仅点明了时间地点，还点明了诗人所处的环境。“萧条”，不仅渲染了田园的冷落，也表现了诗人此时心情的黯淡、孤寂。
诗人凭轩远眺，摄入眼底的是“树藏秋色老，禽带夕阳归”的景象，树因秋色而更显苍老，倦鸟在暮色中低回寻巢，映衬了他内心的悲哀。这是以景显情、情景交融的写法。
五六两句，“穿云翠”是美丽而生动的景象，“得雨肥”意味着丰足，这是用美好的景物来反衬诗人穷困潦倒和黯然神伤的心情。中间这两联，颔联以哀景写哀情，是衬托的写法；而颈联以乐景写哀情，是反衬的写法。诗中生动地再现了山馆山园老而不衰的秋景，平淡而精工，深得陶潜、谢朓及王维、孟浩然诗派的旨趣。诗人以闲旷之目，托高远之思，一切深沉的思考，都蕴藏于无言的远眺之中。
尾联抒写诗人的孤独之情。陶潜隐居田园，贫无酒钱，尚有亲朋好友送酒上门，可诗人在寂寞凄清的山馆，却没有人来嘘寒问暖，只有残菊陪伴着他。诗人自比陶潜，而境况更差，也更孤寂。余靖，有陶潜王维田园诗的遗韵，在对自然景物的描写中带孤独惆怅之情。尾联抒写诗人孤独之情。陶潜隐居田园，贫无酒钱，尚有亲朋好友送酒上门，如今，诗人在寂寞凄清的山馆，又有谁来嘘寒问暖呢？只有残菊陪伴着自己。