此诗可分三部分。前六句为一部分，描写诗人汉江泛舟和登江中孤屿的情景。先写潮水退后，清悠悠的汉水中，小岛显得更加突兀。这两句诗扣题面而不直接写登孤屿，而只以“水落沙屿出”暗示。紧接着重写汉江：大石下的回水潭，深不可测。岸边的翠竹，密密匝匝。传说中的鲛人，潜伏在水中。江上的渔父唱着歌儿，怡然自得。张华《博物志》载：“南海外有鲛人，水居如鱼，不废绩，其眼能泣珠。”诗人将汉江、汉江两岸的景色、传说中的鲛人、江上的渔父交织在一起，多角度地表现汉江的神奇美丽。既写游汉江，同时也为后文回忆与王迥泛舟作铺垫。
第二部分共四句，回忆与王迥游江和登江中孤屿。诗兴非一，兴致无穷，不一而足，由于有第一部分作铺垫，这里只以“夕阳”一句景语，“中坐”一句情语，就将两人一起游览的情景，清晰地展现在眼前。
最后两句为第三部分，抒写诗人对王迥的思念。因为思念王迥，遥望王迥住的鹿门山；回到家中，仍然怅然若失。诗以美丽的汉江为背景，以游汉江为情节，把相思的感情通过具体的生活抒写出来，真挚而又绵长。结构上以游汉江开始，以归家作结，中间插入一次游汉江的回忆。全诗浑然一体，一气呵成，如同一篇优美的抒情散文。
首联点明地点、时令和心绪。蔡州辖境大致相当于今河南淮河以北、洪河上游以南的地区，当汴、洛、淮、沔交通孔道，故作者用“水国”代称之。秋风飒飒，万物萧瑟，被秋风轻轻“摇落”的自然是片片黄叶。望着在秋风中回旋、挣扎、最终还是落地化作尘泥的黄叶，联想到自己如同黄叶般枯萎飘零的身世和命运，“日暮依杖水”的诗人，怎能不思潮如涌、心乱如丝呢？这一联，出句是因，对句是果；前句写景，后句抒情，写景具体，抒情概括，使人迫不及待地想了解被秋风拂动的、郁结在诗人心底的“羁绪”究竟是什么。
以下六句，是作者蓄积心底已久的愁思怨意的总爆发，每一联又单独表达一层意思。颔联引伟大的爱国诗人屈原和唐代著名诗人白居易以自况，作者的用意是显而易见的：正直爱国如屈原，忧民忧时如自居易，皆不免被贬逐黜放的命运，何况自己？不过，自己虽然不像屈原、白居易那样含冤至深，但他们所具有的高尚品德、博大胸怀、坚贞节操，自己也同样仿佛一二。因此，颈联就直接怒斥那帮专门罗织罪名、陷己于不义之地的奸佞小人，尽管他们费尽心机，陷害贤良，并且得逞于一时，然而天理自在，道义犹存，鬼神可鉴，苍天有知。如果说，“大夫泽畔行吟处，司乱江头送别时”是作者借古人写出了自已遭受冤屈、谪官异乡这一事实的话，那么，“尔辈何伤吾道在，此心惟有彼苍知”两句，则是作者对这一既成事实的不满、愤恨情绪的直接流露，其中既包含了对陷入于罪的小人的轻蔑，也表达了对自己人格品德的自信。但现实终归是严酷的，尾联即明白无遗地坦露了作者在奸佞当道、君主寡恩、伸冤无望、前途渺茫的事实面前暗悔当初的低沉心绪。自古官场皆为是非纷争之地，有人飞黄腾达，有人含冤受屈，若要解除这些烦恼，辞官归隐、寄情山水不失为一条出路。然而如今的作者宦海沉浮，几经折磨，“苍颜华发”，垂垂老矣。经历了这样身心俱瘁的痛苦后，即使是辞官归隐，作者也嫌太晚太迟，何况获罪之人，羁绊在身，并无辞官之自由呢？作者更深一层地写出了自己贬官失意后的懊悔心情，同颔联，颈联相比，虽然显得压抑沉闷，令人有迟暮之感，但同时也能激起人们对身陷不幸且又衰老憔悴如此的作者更多的同情。
从诗题来看，西下的夕阳映照着波光鳞鳞的水面，作者倚杖伫立水边，映入眼帘的景色当远远不止“水国西风小摇落”这一句所能概括。然而作者却无心观景，除了这一句外，全诗几乎没有接触到任何其实就在他眼前的具体景物，由此可知，充塞在他心底的“羁绪”该有多么复杂，多么深沉，以致稍微被外物触动，便同决堤的江河般一泄而出，滔滔不绝。
