全诗八句可分为两层，都围绕“还”字来写。前四句写还山的原因，后四句设想还山后的情景。
诗的开头两句说山中带出信来，告诉诗人眼下已是耕种时节。“昨日”，不一定是确指，也可能是前些日子。不说故友捎信而说“山有信”，是一种委婉的说法，同时引出下文“还山”。隐居山中，时而读书，时而就种，魏晋以来一些隐居以求其志的士人们常常以这种方式生活，故信中以“耕种时”相告，催还之意自在其中。次两句紧承前两句，直接点出催还之意。“怪我还山迟”，乃是山中故友即“杜陵叟”“遥传”来的意思，用“遥传”，用“怪”，可见山中故友盼归之切，也看出诗人与他的情谊，故而不可不还。以上四句叙述，说自己当从速还山。
以下四句写还山后的情景，为诗人的设想。“独向潭上酌，无人林下期”，“潭上“林下”为高冠潭口的环境，“酌”和“期”为隐居之地的生活内容，说“独”，说“无”，可见诗人别弟还山后的孤独，其中透露出兄弟之间的深情。这两句虽是对别后情景的设想，但诗人也许在以往的山间生活中对此早有体验，因而不忍便与兄弟分别，“还山迟”的原因也许主要在于此。诗的最后两句仍设想还山后思念弟弟时的情景。“忆汝处”的“处”字，有彼时彼地之意。当诗人还山后想起弟弟的时候，既不能与弟弟同去潭边饮酒，又不能与弟弟携手林下同游，只能“闲卧对鸬鹚”，难以排遣的思念，难以割舍的留恋即在这一生活细节中含蓄地表现出来，不忍分别之情也就在其中了。也有人以为这后四句是转述杜陵叟的话，说杜陵里独处山间，如何思念诗人，如果这样理解，那么此篇便主要是写“杜陵叟”，似与别弟的意义不合。
这首诗写得极为平淡自然，很适于表达山问闲居情趣。而平淡自然中义含不尽之情。诗的前半写不得不归，后半写不忍便归，把故友之情、兄弟之情都表现得很含蓄，很真切。
这首诗像一组动画片：一叶小舟，泛行在江南的水乡，一座座弯弯的石拱桥，像一道道彩虹，架在河上，倒影在清澈的水波中荡漾。一个读书人，站立船上，吹着洞箫，如泣如诉；一个明艳照人的美女，正低低地唱着歌，那动人的吴侬软语，回旋在轻烟中。两岸的梅花，袭来阵阵暗香……这组画面，是姜夔为自己写照。姜夔是宋代著名的词人、音乐家，他新创了不少词调。前几天（绍熙二年除夕），姜夔在范成大家里刚创作了后来脍炙人口的咏梅新词《暗香》、《疏影》，这是他的得意之作，所以毫不掩饰自己的高兴，说自己所创词音节和谐婉丽。这诗中，小红低低唱的，应该就是这两首新词。自作新词，自己伴奏，由美丽的歌女用动人的歌喉演唱，且又置身在明媚的江南水乡中，是何等的欢快。“小红低唱我吹箫”，正概括尽了诗人无边的快乐与舒畅。
前两句是抒写自己的畅达与快感，好就好在直说，且又有后两句作陪衬。后两句一方面勾勒环境，补足前半，又在回首眺望中，寄托了无尽的情思，给人以景外的回味。船是在乐曲中前行，等一曲终了，居然已“过尽了”“松陵路”，形象地概括了自己在惬意的欢乐中，在艺术的陶醉中，全身心地投入，两岸的一切都视而不见，物我两忘，当乐曲奏完，方才回到现实的状况。而“回首烟波十四桥”，浑写一句，又包含了诗人此时此刻无数的心理感慨，称得上神来之笔。
此诗与《除夜自石湖归苕溪》同为南行船上所作，句清敲玉，摇曳有致，如歌如画，情韵丰赡。在低徊的箫声中穿过的一座座画桥，渐渐地消失在缥缈的烟波之中，意犹未尽。其自作新词《暗香》写的是自己身世飘零之恨和伤离念远之情，《疏影》则披露了作者对国家衰危的关切和感触。而在冬夜的归途中，在浩渺的湖面上，在一叶扁舟中，吹箫人暂时忘却了烦恼，一种微微的喜悦溢上心头。此诗一、二句轻快，三、四句语调低缓而不哀，其个中的微情妙韵须于画外余音去深味。