此诗描写诗人往返川滇途中的感慨。前四句是写昔年北上，夜宿嘉陵驿楼时情景；后四句是写当前贬谪云南的情景。全诗运用了今昔对比的手法，巧妙地将相同地点不同时空的心境通过月、江两个意象表达出来，人景合一，独树一帜。
此诗前四句是写昔年北上，夜宿嘉陵驿楼时情景，终宵不断的嘉陵江水声，恼乱离人的心绪，“中天月色好谁看”（杜甫《宿府》），只是照着孤独作客的人。这是一般的离别之愁。杨慎北上，必然是赴北京应会试，他的父亲，是大学士杨廷和，那时没有什么身世不幸之感，可以说春风得意，踌躇满志，唯一不爽的，就是有点想家，有离愁。
后四句是写当前贬谪云南的情景，这跟当年北上就大不相同了，是危难遭遇。这里，诗笔用“岂意”一转，退出瘴海飘零的悲剧，“岂意”表明这种遭遇完全出于自己的意料之外。杨慎以议大礼泣谏，何罪之有，而竟遭杖谪，谪地又这样的遥远，加以瘴气害人，这不能不引起诗人的愤激，因而回忆起嘉陵江驿夜宿时的离愁，便觉得毫不足道，反显得悠闲自在了。
同样是江声，有嘉陵江、金沙江的不同；同样是楼宿，有近乡的嘉陵驿楼、万里之外的金沙楼的不同，江声月色自然因人的心境不同而不同，所以不堪说而肠断了。肠断比之离愁，其分量当然大不相同。一结心情则沉重如千斤之石，而诗句则昂头天外，不落恒蹊。惟其有真情，所以有真诗。
从这首诗的内容看，当为孟浩然在长安落第之后的作品。诗中充满了失意、悲哀与追求归隐的情绪，是一首坦率的抒情诗。
第一联从正面写“所欲”。作者的所欲，原本为隐逸；但诗中不用隐逸而用“一丘”、“三径”的典故。“一丘”颇具山野形象，“三径”自有园林风光。用形象以表明隐逸思想，是颇为自然的。然而“苦无资”三字却又和作者所欲发生了矛盾，透露出他穷困潦倒的景况。
“北土非吾愿”，是从反面写“不欲”。“北土”指“秦中”，亦即京城长安，是士子追求功名之地，这里用以代替做官，此句表明了不愿做官的思想。因而，诗人身在长安，不由怀念起庐山东林寺的高僧来了。“东林怀我师”是虚写，一个“怀”字，表明了对“我师”的尊敬与爱戴，暗示追求隐逸的思想，并紧扣诗题中的“寄远上人”。这二句，用“北土”以对“东林”，用“非吾愿”以对“怀我师”，对偶相当工稳。同时正反相对，相得益彰，更能突出作者的思想感情。
诗人进而抒写自己滞留帝京的景况和遭遇。“黄金燃桂尽”，表现了旅况的穷困；“壮志逐年衰”，表现了心意的灰懒。对偶不求工稳，流畅自然，意似顺流而下，这正是所谓“上下相须，自然成对”（《文心雕龙·丽辞》）。
七句写“凉风”，八句写“蝉鸣”。这些景物，表现出秋天的景象。凉风瑟瑟，蝉鸣嘶嘶，很容易使人产生哀伤的情绪。再加以作者身居北土，旅况艰难，官场失意，呼吁无门，所以会感到“益悲”。
这首诗最显著的特点，在于直抒胸臆。感情的难以抒发，在于抽象。诗人常借用具体事物的形象描写以抒发感情；表达感情的词语，往往一字不用。而此诗却一反这种通常的写法。对“一丘”称“欲”，对“无资”称“苦”；对“北土”则表示“非吾愿”，思“东林”于是“怀我师”；求仕进而不能，这使得作者的壮志衰颓；流落秦中，穷愁潦倒；感受到凉风、听到蝉声而“益悲”。这种写法，有如画中白描，不加润色，直写心中的哀愁苦闷。而读者读来并不感到抽象，反而显得诗人的率真和诗风的明朗。