这首词表面上看是怀念昔日青楼旧好的词，实际上应是怀念同时遭贬谪的友人。
上片主要写贬谪途中的孤单凄苦及烦乱的心绪。万物勃兴的春天本来能给人以美的享受，使人充满希望和信心。但这在身处逆境的作者眼中，却完全失去了光彩，变成了另外一种样子。开头三句写作者目睹春天的到来，感叹时光流逝，担心自己将终老贬所。这自然是悲哀的，因此在他眼中，梅红柳绿的大好春光包就变成“恼人春色”了。但这种烦恼躲不掉，摆脱不开，心烦意乱，伤感倍增，觉得“随云”“逐水”都无出路。最后四句写夕阳含山，暮霭沉沉，身处“一叶扁舟"之上，漂泊茫茫大江之中的孤寂景况。偏偏此时又传来“数声横笛”，这凄厉的笛声实在叫人断肠，无疑给孤寂的“行人”又增添了几分凄凉。
起首第三句谓“行客老沧洲”，有‘归欤’之叹。作者仕途不顺，所以想要归隐沧洲。此时自然界的景色是美好的。“梅吐旧英，柳摇新绿”，与《望海潮》其三“梅英疏淡”、“柳下桃溪”颇为相似；但那时心情舒畅，宛如“金谷俊游”，无意中还跟随他人女眷的车辆走了一段。然而此时由于在贬谪途中，便觉得春色恼人，心中烦乱。“北随云暗暗，东逐水悠悠”，写的是自汴入淮时的情景。宋朝时汴水在泗州人淮，秦少游《泗州东城晚望》诗云：“林梢一抹青如画，应是淮流转处山。”词人在这里举目北望汴京，只见乌云暗淡，其中寓有落第的悲观情绪。而所乘之船入淮向东，又觉流水悠长，不由感到前路迷茫。这一对句，看似工稳，然而按照词谱，却不全部相符合。秦观同门友张耒所作的《风流子》“亭皋木叶下”一首，清万树《词律》作为词的格式，并评价说：“此词抑扬尽致，不板不滞，用字流转可法，真名手也！”张词这一对句是“白蘋烟尽处，红蓼水边头”，当得上这样的评价。而秦观的“北随云暗暗，东逐水悠悠”，句法一变。前者两句皆为二、三句式，所以让人觉得“用字流转”，后者易为一、四句式，似觉词情拗怒。秦观是填词里手，叶梦得《避暑录话》称其词曰：“知乐者谓之作家歌。”在这里做变化句式，产生拗怒之音的原因大概是心中有一股郁勃情绪在吧！“斜日半山”应当写的是沿淮东去之时，回望泗州南山时所见。此时红日西斜，隐于半山，暮烟四起，笼罩于淮河两岸。直至“数声”二句，才点明身在船上。“数声横笛”，像是从唐人郑谷《淮上与友人别》诗“数声风笛离亭晚，君向潇湘我向秦”化用而来，其中寓藏离情，为下阕之张本。
下阕表面上是在回忆在汴京时的恋情。那时他冶游“平康”，曾遇一歌妓。他俩携手都门，无限欢娱。这情境全像杜牧当年一样：“十年一觉扬州梦，赢得青楼薄悻名。”也像他自己在《梦扬州》一词中所写：“长记曾陪燕游，酬妙舞清歌，丽锦缠头。殢酒为花，十载因谁淹留？”两情缱绻，一朝离别，不免无限思念。自“谁念断肠南陌以下，直至“此恨难休”，皆写对汴京恋人的相思之情。实际上却是追忆了同昔日旧好的深情厚谊，及失去这一切的哀怨，“青门同携手”的欢乐，“南陌”分别时的极度悲伤，西楼中无限的柔情蜜意，这一切都成为过去，永不再来，思之如梦，念之断肠。接下四句写天地有尽，离恨无穷，和情人今生再难相见，将抱恨终生，极言思念之甚。词人痛苦的心情及眼前凄凉的处境，吉凶难卜的命运，无处诉说！只有那心心相印的情人能理解，因此便“拟待倩人说与”，但这凄惨的境遇让她知道了只能使她忧伤，还是不说吧。这种怜念情人，欲言又止的内心矛盾和苦衷，使意更深、情更切。这正是作者在贬谪途中想和同时被贬的友人联系，而又怕招来祸害的矛盾心理的真实反映。其中化用白居易《长恨歌》中两个七言句，为四个偶句，虽有割裂之嫌，而真情流贯，尚属感人。歇拍二句，稍一宕开，旋即收住，有有余不尽之致。
清人周济《宋四家词选》评秦少游《满庭芳》（山抹微云）时说：“将身世之感，打并入艳情，又是一法。”完全可以移作此词的评语。词人屡试不第，落魄归来，只能通过艳情，抒写一腔悲愤。
此词除“北随云”二句外，大体恪守格律。万树《词律》卷二分析此调云：“调中四字四句者，前二段，后一段，作者多用俪语。”秦观也是这样。如同前段“梅吐旧英，柳摇新绿，恼人春色，还上枝头”，以及“斜日半山，暝烟两岸；数声横笛，一叶扁舟”，除“恼人”二句外，都用骈俪语言，对仗工整，音节浏丽，给人以美感。后段“天长地久”四句按照这样写，却不如之前几句的自然流美，带有人工痕迹。
首联写天气，统摄全局，极精采。两句诗应连起来读、连起来讲：飘浮的云朵在碧空里你来我往，忙于“议”，“议”什么？“议”究竟是“阴”好，还是“晴”好。“议”的结果怎么样，没有说，接着便具体描写“山行”的经历和感受：“荷雨酒衣湿”，下起雨来了；“鹊声喧日出”，太阳又出来了。浮云议论不定，故阴晴也不定。宋人诗词中往往用拟人化手法写天气，姜夔《点绛唇》中的“数峰清苦，商略黄昏雨”尤有名。但比较而言，王质以浮云“议阴晴”涵盖全篇，更具匠心。
“荷雨”一联承“阴”。先说“荷雨”，后说“酒衣湿”，见得先听见雨打荷叶声而后才意识到下雨，才感觉到“衣湿”。这雨当然比“沽衣欲湿杏花雨”大一点，但大得也有限。同时，有荷花的季节衣服被雨酒湿，反而凉爽些。“蘋风”是从浮萍之间吹来的风，说它“吹袖清”，见得那风也并不狂。雨已湿衣，再加风吹，其主观感受是“清”而不是寒，表明如果没有这风和雨，“山行”者就会感到炎热了。
“鹊声”一联承“晴”。喜鹊喜干厌湿，所以叫“干鹊”。雨过天晴，喜鹊“喧”叫，这表现了鹊的喜悦，也传达了人的喜悦。试想：荷雨湿衣,虽然暂时带来爽意，但如果继续下，没完没了，“山行”者就不会很愉快；所以诗人写鹊“喧”，也正是为了传达自己的心声。“喧”后接“日出”，造句生新：“喜鹊喧叫：‘太阳出来了！’多么传神！“鹊声喧日出“，引人向上看，由“鹊”及“日”；“鸥性狎波平”引人向下看，由“鸥”及“波”。鸥，生性爱水，但如果风急浪涌，它也受不了。如今雨霁风和，“波平”如镜，鸥自然尽情玩乐。“狎”字也像“喧”字一样用得很精彩，“狎”有“亲热”的意思。也有“玩乐”的意思，这里都适用。
像首联一样，尾联也用拟人化手法，其区别在于前者正用，后者反用。有正才有反，从反面说，“山色不言语”，从正面说，自然是“山色能言语”。惟其能言语，所以下句用了个“唤”字。刚经过雨洗的“山色”忽受阳光照耀,明净秀丽，“不言语”已能“唤醒三日醒”；对于并未喝酒烂醉的人来说，自然更加神清气爽，赏心悦目。
以“山行”为题，结尾才点出“山”，表明人在“山色”之中。全篇未见“行”字，但从浮云往来到荷雨湿衣、蘋风吹袖、鹊声喧日、鸥性狎波，都是“山行”过程中的经历、见闻和感受。合起来，就是所谓“山行即事”。全诗写得兴会淋漓，景美情浓，艺术构思也相当精巧。
词的上片写作者思念宋徽宗、钦宗被虏北方，叹息自己还不能复仇雪耻，下片表达自己为国救民的抱负和抗敌必胜的信心。词中借典故抒情，表现了作者强烈的爱国精神和豪迈的英雄气概。
上片写对二帝的怀念和报国无成的忧愁。“塞上风高，渔阳秋早。”因北国秋来，作者对囚居北国的宋徽宗、宋钦宗倍加怀念。渔阳本唐时蓟州，此处泛指北地。他所惆怅的是“翠华音杏”。自从二帝北行后，至今“翠华一去寂无踪”。（鹿虔扆《临江仙·金锁重门荒苑静》）“驿使空驰，征鸿归尽，不寄双龙消耗”。不论“驿使”，还是“征鸿”，都没有带来任何关于二帝的消息。这说明一位忠于君国的忠臣对北宋被金人灭亡这一惨痛的历史事件是刻骨铭心的。
“念白衣、金殿除恩；归黄阁，未成图报”。高宗起用李纲为相，李纲向高宗建议：“外御强敌，内销盗贼，修军政，变士风，裕邦财，宽民力，改弊法，省冗官……政事已修，然后可以问罪金人……使朝廷永无北顾之忧。”（《宋史·李纲传》）由于高宗外受金兵强大压力，内受投降派的怂恿，无力振作，决心南逃。李纲被罢官，他想到自己出身平民，深沐皇恩，“未成图报”，实在是无由图报，情有可原，只留下满怀遗憾，一腔悲愤。
下片由上片的“未成图报”过渡，继续抒发自己救国救民，抗敌雪耻的宏伟志愿。首先作者深有感慨地说，谁相信他有一片献给主上的耿耿丹心呢？朝政多变，情况复杂，和战不定，忠奸不辨，使他感伤。空叹自己“未作救民方召”。周宣王时，淮夷不服，召虎奉命讨平之。方、召都为周宣王时中兴功臣。李纲虽想效法方、召建立中兴之业，无奈高宗非中兴之主，不能信任他，他虽欲救国救民，不可得也。虽为自责之辞，亦不免含有对朝廷怨怼之意，只是怨而不怒而已。
“调鼎为霖，登坛作将，燕然即须平扫。”“调鼎为霖”出自《尚书·说命》。商王武丁举傅说于版筑之间，任他为相，将他治国的才能和作用比作鼎中调味。《韩诗外传》：“伊尹负鼎俎调五味而为相。”后来因以调鼎比喻宰相治理天下。武丁又说：“若岁大旱，用汝（傅说）作霖雨。”李纲感到古代贤君对宰相如此倚重，对比自己虽曾一度为相，仅月馀即被罢免。他认为个人的进退出处，无足轻重。而一念及天下安危，国家存亡，则愤懑之情，溢于言表。就他的文韬武略而言，如果登坛作将、领兵出征，他可以横扫燕然。此处泛指金国境内土地。李纲感到自己虽有出将入相之才，却无用武之地。
如果让他继续为相、为将，他将领十万精兵，横行沙漠，“奉迎天表”。李纲不是夸口，他的将才是杰出。据《大金国志》载：“靖康元年，斡离不围宋京师，宋李纲督将士拒之。又攻陈桥、封邱、卫州门，纲登城督战，杀数千人，乃退”。在被敌人包围的被动情况下，李纲尚能建立如此战功，如果真能让他“拥精兵十万”，则“横行沙漠”并非不可能。可惜他生不遇明君，又遭奸臣排挤，致使英雄无用武之地，他的壮志只能是梦想而已。皇帝被敌人俘虏，这是国家的奇耻大辱。迎归二帝，虽不可能重新君临天下，但这是报国仇、雪国耻，这也是包括李纲在内的南宋许多爱国志士的奋斗目标，李纲虽屡遭挫折，但愈挫愈奋，从不灰心，始终雄心勃勃，力图“挽狂澜于既倒，扶大厦之将倾”。