上片写景。先从远处着笔。
“远岸收残雨，雨残稍觉江天暮。”上阕头两句写江天过雨之景，发端“远岸收残雨”，句中词序颠倒实即“残雨收”：意谓远远的江岸一带，雨点疏疏稀稀的快停止了。雨快下完了，才觉得江天渐晚，则可推断出这场雨下了很长时间。孤舟因雨不能行驶，词人此时蜗居小舟，孤寂无依更可知，这就把时间、地点、人物的动作和心情都或明或暗地表现出来了。紧接着，“雨残稍觉江灭暮”，一幅以江天为背景的寥阔画面，那是淡淡的水墨画，雨快停止，而天空开始黑下来了。
“拾翠汀洲人寂静，立双双鸥鹭。”转换了另一个画面，诗人将视线从远岸收向较近的汀洲上。拾翠佳人，就是指在河边拾香草的女子。鸥鹭成双，词人却孤独寂寞地处在小舟之中。这一对照，就更显词人内心的孤独寂寞。汀洲之上，有鸥鹭以之为家，但拾翠者早已归去，虚拟作陪，更以“双双”形容“鸥鹭”，便觉景中有情。时间在流逝，天渐渐更黑了，随着诗人视线的变动，又展现出另一幅画面。
“望几点、渔灯隐映蒹葭浦。”“望几点”句，时间由日暮转向夜晚。诗人放眼望去，只见芦苇荡里，隐隐约约闪动着渔船上的灯火，一点又一点。渔灯已明，但由于是远望，又隔有蒹葭，所以说是“隐映”，这是远处所见。“停画桡”句，就是描绘自己所处之地，附近所闻。“道去程”二句，乃是舟人的语言和动作。“前村烟树”本属实景，而冠以“遥指”二字，又似虚写。此二句将船家对路途的安排，他们的神情、口吻以及隐约可见的江村勾勒了出来，用笔极其简练，而又生动、真切。
“停画桡，两两舟人语。道去程今夜，遥指前村烟树。”这是诗人耳中所闻，船停止了划桨，两个舟子在谈话：他们指着远方的前村烟树朦胧处，说今夜的行程就去那里。后一句词序颠倒且有省略，意谓（舟子）遥指前村烟树，道今夜去程（是那边）：这是词的特殊语言。行文至此，从拾翠人回、鸥鹭双双立、渔人点点灯火归家、直至两舟子语今夜远村去程，无不触动诗人敏感的心，故下片自然地引出抒情。
下阕由今夜的去程而思至长年漂泊的艰苦。
“游宦成羁旅，短樯吟倚闲凝伫。”过片“游宦成羁旅”，正面倾吐出旅愁，点明本词主旨：“短樯吟倚闲凝伫”，又是词序颠倒，正面写出舟中百无聊赖的生活。这句是诗人的立足点，原来上片诗人那些所见所闻，都是从“凝伫”而得。它起着总上启下的作用。
“万水千山迷远近。想乡关何处？”“万水”两句，由“凝伫”转来，由于长久远眺，所见则“万水千山”，所思则“乡关何处”。句渲染出一片万水千山茫茫无际的景色，后句点明诗人的乡愁。“迷远近”虽指目“迷”，也是心“迷”。崔颢《黄鹤楼》云：“日暮乡关何处是，烟波江上使人愁。”与此句正是语近意通。
“自别后、风亭月榭孤欢聚。”“自别后”以下，直接“乡关何处”，而加以发挥。“风亭”七字，回忆过往，嗟叹今夕。昔日良辰美景，胜地欢游，现在只有孤舟一人，乡情郁郁，而用一“孤”字将今昔分开，意谓亭榭风月依然，但人却不能欢聚，就把它们辜负了。想到这里，诗人离愁更浓，故接着唱出全词的最强音。
“刚断肠、惹得离情苦。听杜宇声声，劝人不如归去。”“刚断肠”以下，紧接上文。乡思正浓，归日无期，而杜宇声声，劝人归去，愈觉不堪。杜宇不识人心，却劝人返，则无情而似有情；人不能归，而杜宇不谅，依旧催劝，徒乱人意，则有情终似无情。以听杜宇哀啼结束，更觉深情婉转、凄侧动人，用意层层深入，一句紧接一句，情深意婉而下笔有力，读来浸人心腑。
前六句讲的是牛郎织女相会的情景。一二句讲的是织女已驾车渡河，与牛郎相会，他们相会之后，害怕此夜良时将逝，所以“起视夜何其”，直到太阳从东方升起。三四句讲的是牛女相会时，牛郎好像听到了织女环佩的声音，又好像看见了她如花之貌，风轻轻的吹来，所以佩响轻微。日薄，所以花容不萎。想象织女于黄昏时动身离开，故曰“日薄”。五六句讲的是月桂为他们传送嫩香，白榆为他们投影翳蔽，成就他们好合。
末联讲的是织女不想要人间知道他们相会的事情，忌有成都卜肆中识灵槎的人。抒发了自己深切的感叹。末句讲的是双星不想人间知道他们的秘密，深怪成都占卜摊子上的严老头子懂得灵槎而多管闲事。从字面上看，只能作如上解说；至于还有什么特定的寓意，尚无有力证据，不敢妄言。
全诗诗人以织女自况，以牵牛比牛党，令狐绹。
诗首联用《世说新语》中过江诸人的典故，说自己今天再也没想到会和当年过江诸人一样，作楚囚相对，为国家沦丧而伤心，但对挽救国家命运却拿不出什么办法来。诗既表现自己对现状及前景的哀怨愤慨，也因己及人，感叹朝中大臣也都个个束手无策。诗用“真成”、“遂无”加重语气，流露出极大的无奈。
次联由国事的伤感转到自己的处境，在格调上与前保持一致。诗用了两个比喻，一说自己像盘旋绕枝的乌鹊，用曹操《短歌行》“月明星稀，乌鹊南飞。绕树三匝，无枝可依”句意，写自己颠沛流离，无处栖托，表示惆怅与不平。一说自己像不会筑巢的鸟儿，用鸠不会营巢的典故，自叹无能，没法为自己谋个安乐窝，对中原沦陷后，由于自己不善逢迎，没人援引，从而生活困难表示不满。两句都用鸟的典故，为诗家忌讳，但曾几因为用得很活，密切自己“寓居吴兴”的感受，所以没有粗疏谫劣之病。
第三联直承首联，写忧国之情。过江诸人对泣新亭，叹神州陆沉，是往事，也是眼前的实事。第一联写了无力挽回国家倾覆的命运，这联直写国家沦亡后的状况。如今江北江南，音讯断绝，成了两个世界，眼前的秋风秋雨，是何等的凄清，自己又怎能长久淹留这里呢？秋风秋雨，既可看作实事，表现自己悲秋的愁闷，也可看作国家的象征，这番萧杀的状况，正同眼前国家面临的局势，怎能不使人忧虑万分、感慨系之呢？这一联格调轻快，在流动婉转中包含沉重的感伤。这样造语，显得情深意长，是曾几诗的特长，也是他最喜欢用的句型，如他在《发宜兴》的第三联也这样写：“观山观水都废食，听风听雨不妨眠。”直接学黄庭坚名句“春风春雨花经眼，江北江南水拍天”（《次元明韵寄子由》）。由此可见曾几对江西诗派的继承关系。
尾联宕开一层。国事如此，家事如此，自己又漂泊落魄如此，诗人不由得徘徊低迷，心怀郁郁。想要依靠某个有权势的人，如王粲投靠刘表一样，获得暂时的安定，也是梦想，他放眼遥天，只见到夕阳西下，孤云飘浮，不觉油然而生愁意。“落日孤云”在这里是写景，也是诗人的自我写照，他感到自己正像黄昏中飘浮的一朵云彩，不知何处是归宿。这样一结语意双关，余情不尽。
“天生百种愁”，词一开头，就将胸中万斛愁情，喷薄而出，这也是和花间委婉含蓄的抒情风格所叶同的。愁本胸中，怎么会挂斜阳树呢？这句看似无理的话，实际上表达的是一种趋近极致的感情，亦有所本。境界相对静止，没有强烈的动词，写的是所思之人远山外，词人举目远望，唯见斜阳照处，烟雾迷茫，绿树青山，好似披挂着满树愁绪。词人触景生情，于是就产生这种形似无理、实却情深的语言。
“绿叶”二句承上语意，描写词人所见景物：树上绿叶，树下芳草，还有那飞舞其间的啼莺，都是当时的景致。由于词发端情绪激越，至此则略一顿挫，节奏上趋于舒缓和平稳。就词意而言，说的是先以愁人之眼观树，遂觉满树愁情，而今冷静观察，才知树自为树，人自为人。“自得春”三字，下得极妙。绿树芳草，欣欣向荣；黄莺当春，自鸣得意，与人邈叶相涉，唯达其理者体其情也。这里虽宕开一笔，但却使词有了更深的意味。
下片开始具体写所愁的内容：“叶见凌波步，空忆如簧语。”从这两句看，主人公怀念的是一位绝色佳人。此词，由于笔墨有限，叶能对佳人之美作细致的描绘，往往只是拣最传神的地方点染几笔；这位佳人轻盈的步履、美妙的声音，一直萦回主人翁的胸臆。因被重重叠叠的山峦所遮断，佳人亿而叶见，便产生难以排解的愁怨。这两句既与起首二句相映射，也逗引起结尾二句，为实写。
结尾两句“柳外重重叠叠山，遮叶断、愁来路”是用借喻手法来写愁。徐俯这里是说，愁自外面向主体袭来，要借客体的力量把它挡住。他用山来构成重重叠叠的屏障，企图阻挡忧愁的侵袭；然而仍然阻挡叶住，则愁之深重，更加可想而知了。愁的来路为何和山有关，盖因所思之人斜阳外、山那边，这里是照应开头。起首以树比愁，结尾以山遮愁，前后照应，浑然一体。这个借喻新奇工巧，历来为人所称道。