此词可分三层。
上片为第一层，由江行沿途所见山川引起怀昔游，痛惜年华之意。长江中下游地区山川秀美，辛弃疾南归之初，自乾道元年至三年，曾漫游吴楚，行踪遍及大江南北，对这一带山水是熟悉的。乾道四年通判建康府，此后出任地方官，调动频繁，告别山水长达十年。此时复见眼中川“都似旧时相识”了。“溪山”曰“过眼”，看山却似走来迎，这是江行的感觉。“怪”是不能认定的惊疑感，是久违重逢的最初的感触。往事虽“还记得，却模糊、记不真切，真象一场旧梦。
“还记得、梦中行遍，江南江北”，“梦中”云者不仅有烘托虚实之妙，也是心理感受的真实写照，这种恍惚的神思，乃是多年来雄心壮志未得实现。业已倦于宦游的结果。反复玩味以上数句，实已暗伏“尘劳”、觉非之意。官场之上，往往如山水一般旧曾相识虚如幻梦不如远离，同时也就成了一种强有力的召唤，来自大自然的召唤。所以，紧接二句写道：“佳处径须携杖去，能消几两平生屐？”要探山川之胜，就得登攀，“携杖”、着“屐”（一种木底鞋）是少不了的。
《世说新语·雅量》载阮孚好屐，尝曰：“未知一生当着几量（两）屐？”意谓人生短暂无常，话却说得豁达幽默。此处用来稍变其意，谓山川佳处常在险远，不免多穿几双鞋，可这又算得了什么呢！所以结尾几句就对照说来，“笑尘劳、三十九年非”乃套用蘧伯玉（春秋时卫国大夫）年五十而知四十九年之非的话（语出《淮南子·原道训》），作者当时四十岁，故这样说。表面看，这是因虚度年华而自嘲，其实，命运又岂是自己主宰得了的呢。“长为客”三字深怀忧愤，语意旷达中包含沉郁。实为作者于四十年年来之感慨，年已四旬，南归亦久，但昔日的志愿，却无一件得以实现，感慨，今是昨非，一生劳碌，原来“长为客”无丝毫是自己左右的。
这片六句另起一意为第二层，由山川地形而引起对古代英雄事迹的追怀。扬州上游的豫章之地，历来被称作吴头楚尾。“吴楚地，东南坼”化用杜诗（《登岳阳楼》：“吴楚东南坼”），表现江行所见东南一带景象之壮阔。如此之山川，使作者想到三国英雄，尤其是立足东南北拒强敌的孙权，最令他钦佩景仰。曹操曾对刘备说：“今天下英雄，唯使君与操耳。”（《三国志·先主传》）而孙权堪与二者鼎立。此处四句写地灵人杰，声情激昂，其中隐含作者满腔豪情。“被西风吹尽，了无陈迹”二句有慨叹，亦有追慕。恨不能起古人于九泉而从之的意味，亦隐然句中。
结尾数句为第三层，是将以上两层意思汇合起来，发为更愤激的感慨。“楼观才成人已去”承上怀古，用苏轼诗“楼成君已去，人事固多乖”（《送郑户曹》）意，这里是说吴国基业始成而孙权就匆匆离开人间。“旌旗未卷头先白”承前感伤，由人及己，“旌旗”指战旗，意言北伐事业未成，自己的头发却先花白了。
综此二者，于是词人得出一个无可奈何的结论：人间哀乐从来循环不可琢磨（“转相寻”），“今犹昔”。这结论颇带宿命色彩，乃是作者对命运无法解释的解释。更是作者对命运不如已愿，人事多乖的感叹。
词中一方面表示倦于宦游——“笑尘劳、三十九年非”，另一方面又追怀古代英雄业绩，深以“旌旗未卷头先白”为憾，反映出作者当时矛盾的心情。虽是因江行兴感，词中却没有着重写景，始终直抒胸臆；虽然语多含蓄，却不用比兴手法，纯属直赋。这种手法与词重婉约、比兴的传统是完全不同的。但由于作者是现实政治感慨与怀古之情结合起来，指点江山，纵横议论，抒胸中郁闷，驱使古人诗文于笔端，颇觉笔力健峭，感情弥满。所谓“满心而发，肆口而成”，自具兴发感人力量。
