此词可分三层。
上片为第一层，由江行沿途所见山川引起怀昔游，痛惜年华之意。长江中下游地区山川秀美，辛弃疾南归之初，自乾道元年至三年，曾漫游吴楚，行踪遍及大江南北，对这一带山水是熟悉的。乾道四年通判建康府，此后出任地方官，调动频繁，告别山水长达十年。此时复见眼中川“都似旧时相识”了。“溪山”曰“过眼”，看山却似走来迎，这是江行的感觉。“怪”是不能认定的惊疑感，是久违重逢的最初的感触。往事虽“还记得，却模糊、记不真切，真象一场旧梦。
“还记得、梦中行遍，江南江北”，“梦中”云者不仅有烘托虚实之妙，也是心理感受的真实写照，这种恍惚的神思，乃是多年来雄心壮志未得实现。业已倦于宦游的结果。反复玩味以上数句，实已暗伏“尘劳”、觉非之意。官场之上，往往如山水一般旧曾相识虚如幻梦不如远离，同时也就成了一种强有力的召唤，来自大自然的召唤。所以，紧接二句写道：“佳处径须携杖去，能消几两平生屐？”要探山川之胜，就得登攀，“携杖”、着“屐”（一种木底鞋）是少不了的。
《世说新语·雅量》载阮孚好屐，尝曰：“未知一生当着几量（两）屐？”意谓人生短暂无常，话却说得豁达幽默。此处用来稍变其意，谓山川佳处常在险远，不免多穿几双鞋，可这又算得了什么呢！所以结尾几句就对照说来，“笑尘劳、三十九年非”乃套用蘧伯玉（春秋时卫国大夫）年五十而知四十九年之非的话（语出《淮南子·原道训》），作者当时四十岁，故这样说。表面看，这是因虚度年华而自嘲，其实，命运又岂是自己主宰得了的呢。“长为客”三字深怀忧愤，语意旷达中包含沉郁。实为作者于四十年年来之感慨，年已四旬，南归亦久，但昔日的志愿，却无一件得以实现，感慨，今是昨非，一生劳碌，原来“长为客”无丝毫是自己左右的。
这片六句另起一意为第二层，由山川地形而引起对古代英雄事迹的追怀。扬州上游的豫章之地，历来被称作吴头楚尾。“吴楚地，东南坼”化用杜诗（《登岳阳楼》：“吴楚东南坼”），表现江行所见东南一带景象之壮阔。如此之山川，使作者想到三国英雄，尤其是立足东南北拒强敌的孙权，最令他钦佩景仰。曹操曾对刘备说：“今天下英雄，唯使君与操耳。”（《三国志·先主传》）而孙权堪与二者鼎立。此处四句写地灵人杰，声情激昂，其中隐含作者满腔豪情。“被西风吹尽，了无陈迹”二句有慨叹，亦有追慕。恨不能起古人于九泉而从之的意味，亦隐然句中。
结尾数句为第三层，是将以上两层意思汇合起来，发为更愤激的感慨。“楼观才成人已去”承上怀古，用苏轼诗“楼成君已去，人事固多乖”（《送郑户曹》）意，这里是说吴国基业始成而孙权就匆匆离开人间。“旌旗未卷头先白”承前感伤，由人及己，“旌旗”指战旗，意言北伐事业未成，自己的头发却先花白了。
综此二者，于是词人得出一个无可奈何的结论：人间哀乐从来循环不可琢磨（“转相寻”），“今犹昔”。这结论颇带宿命色彩，乃是作者对命运无法解释的解释。更是作者对命运不如已愿，人事多乖的感叹。
词中一方面表示倦于宦游——“笑尘劳、三十九年非”，另一方面又追怀古代英雄业绩，深以“旌旗未卷头先白”为憾，反映出作者当时矛盾的心情。虽是因江行兴感，词中却没有着重写景，始终直抒胸臆；虽然语多含蓄，却不用比兴手法，纯属直赋。这种手法与词重婉约、比兴的传统是完全不同的。但由于作者是现实政治感慨与怀古之情结合起来，指点江山，纵横议论，抒胸中郁闷，驱使古人诗文于笔端，颇觉笔力健峭，感情弥满。所谓“满心而发，肆口而成”，自具兴发感人力量。
上片先否定功名，再否定是非，最后又否定一切，层层加深，可谓匠心独运。下片依然承袭上片风格，貌似淡薄世事，实则甚是重视。全词愈转愈深，愈深愈妙，结构奇变，议论精辟而富有情韵，达到了似直而纡、似达而郁的高妙艺术境界。
此词语言通俗，节奏明快，词人满腔的悲愤从笔端喷薄而出。文恬武嬉，朝廷偏安江左，主和派手握实权，豪杰之士虽胸怀报国之志却无用武之地。国势衰微，作为主战派的一员， 刘过心中抑郁难平。他虽一介布衣，却志存高远，渴望建功立业、留名青史。奈何年华渐老，两鬓已斑白，梦想却依然遥不可及，在此情况下，他不由心生郁闷，满腹牢骚。
开篇起势突兀，直抒胸臆。“弓剑出榆塞，铅椠上蓬山。得之浑不费力，失亦匹如闲。”词人认为，引弓持剑出塞杀敌和提笔著书立说都易如反掌，武功文名得来容易，失去也可以淡然地面对。此处虽看似奔放旷达，却并非词人心中的真实想法，他之所以说出这番话完全是由于心中激愤难平。
接下来，词境更进一步，作者对世事的是非曲直进行评说。“未必古人皆是，未必今人俱错，世事沐猴冠”几句反讽意味强烈，看似否定古人，实则是对如今世事的无情讽刺，与辛弃疾《西江月》中的句子“近来始觉古人书，信着全无是处”类似。“老子不分别，内外与中间。”此处的叙述冲破传统思想的局限，作者更为狂放不羁。“老子”二字，刻画出一个愤世嫉俗、睥睨-一切的豪放文人形象。这两句看似对“内外”、“中间”所包含的一切充满怀疑和否定，实则更突显出词人的满腹抑郁不平之气。
“酒须饮，诗可作，铗休弹。”词人认为可以饮酒，可以赋诗，但是就是不可以弹铗，因为饮酒可以忘忧，作诗可以明志，弹铗却不能引起统治者的注意。战国时期，冯谖因不满于待遇过低而三次弹铗，孟尝君每次都能满足他的要求。刘过在此自比冯谖，是为了将当今昏庸无能、不辨是非的统治者与昔日礼贤下士、亲贤远佞的孟尝君进行对比。词人并非不关心国事，甚至曾上书宰相，陈述北伐抗击金军的方略，只是最终未被朝廷采纳。一个“休”字，包含了作者太多无法言明的感慨。
统治者昏庸无能，不肯重用人才，词人一腔爱国情怀无处释放，自然满腹忧愤。“人生行乐，何自催得鬓毛斑。”这两句与李白“人生得意须尽欢，莫使金樽空对月”的萧条况味极为相似。词人无奈说道，人生短暂，须及时行乐，何必每日自寻烦恼，催得满头华发呢？这两句词是对下阕开头所表达的感情作进一步的描摹。
孟子认为“达则兼济天下，穷则独善其身”，作者却认为穷困和显达并无二致，“牙旗金甲”和“蹇驴破帽”没有什么区别。这其实并非他心中真实的想法，词人并非像庄子一样，主张天道无为。他满怀报国之志，希望建功立业，取得显达的地位，又怎会无视穷通之间的巨大差异，只是由于报国无门，心中抑郁难解，所以才满腹牢骚而已。
“世事只如此。”作者在此仅着五字，万般无奈却都呼之欲出。至此，其激愤达到顶点，之后，作者一扫前文阴霾之气，一语道破全词的主旨：“自有识鸮鸾。”在文恬武嬉、是非不分的环境下，刘过依然坚信必定有人能够辨忠奸、明是非，从中亦可见其积极进取的精神和狂放不羁的气魄。
作者在词中用了大量的篇幅来抒发内心的不满和无奈，直到最后一句才点明主旨，前后落差巨大，满腹牢骚和激愤在最后一刻戛然而止，似在悬崖边上勒住了狂奔的马匹，其雄浑、豪迈的气魄读来不禁令人感动。