此诗描写诗人往返川滇途中的感慨。前四句是写昔年北上，夜宿嘉陵驿楼时情景；后四句是写当前贬谪云南的情景。全诗运用了今昔对比的手法，巧妙地将相同地点不同时空的心境通过月、江两个意象表达出来，人景合一，独树一帜。
此诗前四句是写昔年北上，夜宿嘉陵驿楼时情景，终宵不断的嘉陵江水声，恼乱离人的心绪，“中天月色好谁看”（杜甫《宿府》），只是照着孤独作客的人。这是一般的离别之愁。杨慎北上，必然是赴北京应会试，他的父亲，是大学士杨廷和，那时没有什么身世不幸之感，可以说春风得意，踌躇满志，唯一不爽的，就是有点想家，有离愁。
后四句是写当前贬谪云南的情景，这跟当年北上就大不相同了，是危难遭遇。这里，诗笔用“岂意”一转，退出瘴海飘零的悲剧，“岂意”表明这种遭遇完全出于自己的意料之外。杨慎以议大礼泣谏，何罪之有，而竟遭杖谪，谪地又这样的遥远，加以瘴气害人，这不能不引起诗人的愤激，因而回忆起嘉陵江驿夜宿时的离愁，便觉得毫不足道，反显得悠闲自在了。
同样是江声，有嘉陵江、金沙江的不同；同样是楼宿，有近乡的嘉陵驿楼、万里之外的金沙楼的不同，江声月色自然因人的心境不同而不同，所以不堪说而肠断了。肠断比之离愁，其分量当然大不相同。一结心情则沉重如千斤之石，而诗句则昂头天外，不落恒蹊。惟其有真情，所以有真诗。
此诗的前二句就为全诗奠定了感情基调：愁怨忧思。娄图南常年飘零在外，羁旅天涯，今又客居他乡，难免不生愁绪。这一“思”一“愁”，既抒发了情感，又点明了娄的部分病因。三、四句“梦绕羽人丘”，进一步剖析娄病的主要原因。原来，娄整日魂牵梦绕的是如何入道，虽然被称为“居士”，也“将入道”，但终究还没有入道，个中滋味，常人很难了解，只有诗人深谙其中奥秘。诗的前四句，诗人不仅摹写其状，更主要的是通过娄病这一情形的描摹观照娄的内心，为下文劝勉娄图南做了铺垫。
诗的五、六句为诗人劝勉之句。娄图南甘于清贫，乐于求道，并为入道孜孜以求，文才“传咏都中”之名已丧失殆尽。要想找回“遗名”，诗人给他指出一条正确的途径：“得自求”。两句中一“怜”一“得”，表明了诗人鲜明的态度。诗人在《娄图南秀才游淮南将入道序》中指出：“（娄）为处士，吾以为非时也……以图寿为道，又非吾之所谓道也。”并针对娄图南“以呼嘘为食，咀嚼为神，无事为闲，不死为生”之道，发出激问：“……其于道何如也？”
“壁空残月曙，门掩候虫秋”两句，勾画了一幅独守残月空壁、候虫入室长鸣的清幽愁伤的楚地秋夜图：天上悬挂着弯弯残月，透着星许亮光。月光下，寺院幽寂，寺门虚掩，石壁空空，秋虫“唧唧”。这里有残月的微光，秋虫的长鸣，声光俱见，情景交融。此情此景，不禁使人愁肠百结、思绪绵绵。这两句历来被后来的诗人学者所推崇。
诗的最后四句既是劝慰之句，又是抒怀之言。作为朋友，应礼尚往来。娄图南“委以双金”，诗人却很难酬以杂佩。这当然是诗人的谦逊之辞。对娄一心只想羽人飞天，诗人郑重指出：“碧霄无枉路”，意即无碧天云霄的来去之路，求道的结果也只会是“徒此助离忧”，奉劝娄不要继续迷恋于入道，应清醒过来，奉行“君子之道”。
全诗以“愁思”开头，以“离忧”结尾。从表面上看，诗人是写娄图南的忧愁情怀。其实只要联系柳宗元贬永十年的非凡遭遇，就不难发现，诗人也是在抒写自己的“愁思”、“离忧”。
