上片写景。先从远处着笔。
“远岸收残雨，雨残稍觉江天暮。”上阕头两句写江天过雨之景，发端“远岸收残雨”，句中词序颠倒实即“残雨收”：意谓远远的江岸一带，雨点疏疏稀稀的快停止了。雨快下完了，才觉得江天渐晚，则可推断出这场雨下了很长时间。孤舟因雨不能行驶，词人此时蜗居小舟，孤寂无依更可知，这就把时间、地点、人物的动作和心情都或明或暗地表现出来了。紧接着，“雨残稍觉江灭暮”，一幅以江天为背景的寥阔画面，那是淡淡的水墨画，雨快停止，而天空开始黑下来了。
“拾翠汀洲人寂静，立双双鸥鹭。”转换了另一个画面，诗人将视线从远岸收向较近的汀洲上。拾翠佳人，就是指在河边拾香草的女子。鸥鹭成双，词人却孤独寂寞地处在小舟之中。这一对照，就更显词人内心的孤独寂寞。汀洲之上，有鸥鹭以之为家，但拾翠者早已归去，虚拟作陪，更以“双双”形容“鸥鹭”，便觉景中有情。时间在流逝，天渐渐更黑了，随着诗人视线的变动，又展现出另一幅画面。
“望几点、渔灯隐映蒹葭浦。”“望几点”句，时间由日暮转向夜晚。诗人放眼望去，只见芦苇荡里，隐隐约约闪动着渔船上的灯火，一点又一点。渔灯已明，但由于是远望，又隔有蒹葭，所以说是“隐映”，这是远处所见。“停画桡”句，就是描绘自己所处之地，附近所闻。“道去程”二句，乃是舟人的语言和动作。“前村烟树”本属实景，而冠以“遥指”二字，又似虚写。此二句将船家对路途的安排，他们的神情、口吻以及隐约可见的江村勾勒了出来，用笔极其简练，而又生动、真切。
“停画桡，两两舟人语。道去程今夜，遥指前村烟树。”这是诗人耳中所闻，船停止了划桨，两个舟子在谈话：他们指着远方的前村烟树朦胧处，说今夜的行程就去那里。后一句词序颠倒且有省略，意谓（舟子）遥指前村烟树，道今夜去程（是那边）：这是词的特殊语言。行文至此，从拾翠人回、鸥鹭双双立、渔人点点灯火归家、直至两舟子语今夜远村去程，无不触动诗人敏感的心，故下片自然地引出抒情。
下阕由今夜的去程而思至长年漂泊的艰苦。
“游宦成羁旅，短樯吟倚闲凝伫。”过片“游宦成羁旅”，正面倾吐出旅愁，点明本词主旨：“短樯吟倚闲凝伫”，又是词序颠倒，正面写出舟中百无聊赖的生活。这句是诗人的立足点，原来上片诗人那些所见所闻，都是从“凝伫”而得。它起着总上启下的作用。
“万水千山迷远近。想乡关何处？”“万水”两句，由“凝伫”转来，由于长久远眺，所见则“万水千山”，所思则“乡关何处”。句渲染出一片万水千山茫茫无际的景色，后句点明诗人的乡愁。“迷远近”虽指目“迷”，也是心“迷”。崔颢《黄鹤楼》云：“日暮乡关何处是，烟波江上使人愁。”与此句正是语近意通。
“自别后、风亭月榭孤欢聚。”“自别后”以下，直接“乡关何处”，而加以发挥。“风亭”七字，回忆过往，嗟叹今夕。昔日良辰美景，胜地欢游，现在只有孤舟一人，乡情郁郁，而用一“孤”字将今昔分开，意谓亭榭风月依然，但人却不能欢聚，就把它们辜负了。想到这里，诗人离愁更浓，故接着唱出全词的最强音。
“刚断肠、惹得离情苦。听杜宇声声，劝人不如归去。”“刚断肠”以下，紧接上文。乡思正浓，归日无期，而杜宇声声，劝人归去，愈觉不堪。杜宇不识人心，却劝人返，则无情而似有情；人不能归，而杜宇不谅，依旧催劝，徒乱人意，则有情终似无情。以听杜宇哀啼结束，更觉深情婉转、凄侧动人，用意层层深入，一句紧接一句，情深意婉而下笔有力，读来浸人心腑。
“吾衰矣，须富贵何时？富贵是危机”三句直接驳斥儿子用以阻止词人引退的理由，有针锋相对之势。词人的儿子认为词人此时的官位还不够，积蓄的俸禄还不足以购买丰厚的田产，言下之意希望父亲能继续升官，而词人劈头便说：“吾衰矣。”儿子以富贵为念，词人便以富贵的时机、富贵的忧患来回应。“暂忘设醴抽身去，未曾得米弃官归。穆先生，陶县令，是吾师”五句全是用典，故事的主人公有两个，穆生和陶渊明。西汉楚元王刘交以穆生、白生、申公三位贤士为中大夫、礼贤下士，席上专为不喜饮酒的穆生设醴，其孙刘戊继任为王后忘了设醴。穆生看出楚厉王怠慢背后潜伏的危机，毅然辞官。陶渊明曾当任彭泽县令，因为不愿意以五斗米的官俸而低头向乡里的小人，便辞官而去，在农村种地，不求闻达。词人直言要以穆生和陶渊明为师，有及时归隐、远离官场的意思，与儿子希望自己继续留在官场，等待词人以后富贵的想法背道而驰。
“待葺个园儿名‘佚老’，更作个亭儿名‘亦好’”两句都在第三字后断开，造成了节奏和语意上的奇峭。作者不仅想到了归隐，而且连归后闲居处的亭、园的名字都想好了。“闲饮酒，醉吟诗”两句概括了理想的生活状态，“千年田换八百主，一人口插几张匙”两句引用禅语和谚语，说明人生苦短，眼前占有的身外之物都不能长久，不如看淡。“便休休，更说甚，是和非”三句不仅否认了富贵，而且否认了满足与不满足。
上片说做官的道路危机四伏，要以穆先生、陶县令这些以前的贤人为师，早点隐退，不要期待功名富贵，言外之意包含对朝廷不能用抗战志士的不满。下片想象归隐田园、饮酒吟诗的乐趣。整首词的语言看似平实通俗，实际上却贯穿各种典故和对前人作品句子的化用。通过给儿子讲述道理，把辛弃疾正直不阿、洁身自好的形象体现出来。
此词以一个看似平凡的少女荡舟遇雨、娇不胜寒的故事，喻写了一幕爱情的悲剧，同时也寄托了一个不谙世故者生活坎坷、遭遇不幸的身世感慨。全词意味深蕴，含蓄婉转，手法新颖，别具一格。
开篇两句起笔不凡，想像奇特。女主人公感到离江边路太远了，遂移家近溪头，以便涉江采芙蓉，而且溪水流入江中，也将会流到所思之处吧！慰情聊胜于无，两句堪称“痴绝”之语。三、四句又起波澜，她摇荡着木兰船去采芙蓉，却不知不觉误入了双鸳浦。“木兰舟”，以香木制成的船只，泛指佳美的小船。芙蓉，即指荷花。她荡舟缘溪而去，可是却来到触动她孤独情怀之地“双鸳浦”——鸳鸯成双作对的水边。这里妙一“误”字，竟因“双鸳”这样美好的字眼引起她的不快，正所谓“伤心人别有怀抱”。过片二句借写泛舟时遇雨，语意双关，表达了女子被弃时复杂的感情。“无端”，有料想不到之意。那象浮云般轻薄的男子，竟然毫无理由地玩弄女子的感情，被侮辱被损害的女子却只能暗暗地忍受着无穷的痛苦。那几乎是绝望的哀伤、绵绵的遗恨，紧揪着人们的心。“云”、“雨”之喻，本指男女间的欢合，而本词中，却显得如此凄冷悲凉。这里用谴责、痛悔、爱怜几层含意，深刻地写出被弃女子的心理。末两句承“帘纤雨”，意谓她那单薄的衣裳怎抵挡寒风冷雨？只好向荷花诉说自己的幽恨。“翠袖”句，写女子“不胜”风雨之寒，既点出她的软弱无依的可悲处境，也暗示她的清操独守。然而心灵上的创伤是无法消除的，无人倾诉，只能悄悄地共荷花相语。
