诗中露面的人物，仅有诗人一人，他正从一家花园的高墙下经过，尽管墙头的花朵半隐半现，却依然望见了因枝条受到牵动而引起的悠悠的晃动。诗人由此驰骋想象，他推测在墙的那一边，正有一位美人在摘花，而不只是由风吹的缘故。
此诗从第一句到第二句，一进一退。第一句是一个省去“尽管”或“突然”的让步副句，在文势上作一顿挫；第二句是一个省去“尽管”或“虽然”的让步副句，在文势上作一顿挫；第二句以副词“犹”字反接进行强调，文势振起。诗歌形象由“花半隐”的静态描绘随即转换成“动花枝”的动态描写。视觉形象上的这一跌宕变化，引起诗人心中的疑虑与猜想。故后两句由料想之词“当”字引出。诗人判断止于疑是之间，“当由”与“讵止”（岂只之意）一呼一应，情韵回萦，意味绵长。事实上，是否真的有美人在摘花呢？倒也未必。然而诗人想象如此，希望如此，即使读者也无不但愿生活中有过这样一个小小的插曲，在大墙内外曾经发生过如此戏剧性的一幕。
此诗不仅自身值得玩味，且对后世亦有所影响。《西厢记》写莺莺为约会张生，写了一首很有名的《明月三五诗》：“待月西厢下，迎风户半开；拂墙花影动，疑是玉人来。”后两句就可能受到刘孝威的这首《望隔墙花》的启发。苏轼的《蝶恋花·花褪残红青杏小》中写“墙里秋千墙外道。墙外行人,墙里佳人笑。笑渐不闻声渐悄，多情却被无情恼”，从墙里与墙外进行构想，或许也曾借鉴过此诗的思路。
这首诗写诗人寄宿农家、与老翁饮酒所见所感的内容，表现农人的闲静惬意和诗人对农家生活的极大兴趣。一联是老翁身世，居此已久。二联是远离尘世，不计时日。三、四两联是勤快但不忙碌的劳作。五联是热情待客。从吟诗看。农人是位隐居的官吏，诗人遂与他有共同语言。六联是自然景观。最后两联是表明心迹。诗的笔法属白描，抒写逼真实在。
本词开篇切题，由雪而起。关山河川，冰封万里，耸起的林木如同梨树白花满枝。“梨云”即梨花云，语出《墨庄漫录》中所引唐代诗人王建《梦看梨花云歌》中“薄薄落落雾不分，梦中唤作梨花云”一句，原指梦中恍惚所见如云似雪的缤纷梨花，后世文人常用以摹状雪景。“连线骑”即古代名马“连线骢”，因其毛色深浅斑驳而称，此处为押韵而改，即指骏马。词人冒雪“冲寒”跨马驰骋，迸发出胸中一腔难以抑制的不平之气。此番登上大观亭，原为旧地重游。初到此地时，正值黄梅时节，词人凭倚高栏，耳中所闻，惟有一片雨声，令人困倦。如今重到此地，雾霭迷蒙，烟水障目，依然无法使词人敞开胸怀。随后深入一笔：“算夔巫万里，金焦两点，谁说与，苍茫意？”“谁说与”即“与谁说”。整句的意思是：从远处长江中游的夔门、巫峡到近处长江下游的金山、焦山，神州江山，腹地受侵，而词人心中的忧思和迷茫无人可诉。“算”字意谓反复、费神地寻思。写出了词人找不到知音、得不到理解的悲哀和痛苦。其实这又何尝不是词人对当时社会环境的怨责？
“却忆蛟台往事，耀弓刀，舳舻天际”，“蛟台”在今广东虎门附近；“舳舻”是船头和船尾的合称，泛指前后首尾相接的船队。词人追忆自己当年与林则徐在虎门协力禁烟，多次率领舰队抗击英国侵略者。“耀弓刀，舳舻天际”便是描绘当时的战斗场景。着一“耀”字，表现出中华正义之师的威风与豪气，也明白地道出作为主要指挥者之一的邓廷桢以此壮举为骄傲的光荣感。然而这一切都已成为往事，如今眼前只剩下江上迷离的渔船和天边模糊的雁群，因为词人已被革职，已经远离了前线，不能再横枪勒马，为国效力。此刻他只能站在大观亭上，凝望残山，送别黄昏，只能望着远处江水东逝，借酒浇愁。
词人怀着满腔热情，却是报国无门，这使他深感困惑，而这也正是近代中国的悲哀。即使词人放弃追求，别人也会理解他的这种选择，因为他已无法再积极作为。但词人不愿就此度过余生，他依然怀着自己不渝的情操，保持着不屈不挠的品格。词以踏雪折梅作结，即向世人表明这样的夙愿，从而使整篇词意得以进一步升华。
这首词上下两片采用了不同的手法，上片偏于客观景物的渲染，下片着重主观心理的描绘。然而景物的渲染中却带有浓厚的主观色彩，主观心理的描绘又糅合在客观景物之中。因而从整体上来说，情与景、主观与客观，又融成一片。
“平林漠漠烟如织”，是写游子眼中之景物。“平林”，不是“平地的树林”；而是山丘上的树林。林木依山而生，高低错落，本不会“平”，而着一“平”字，不仅准确地写出了游子自高楼下视所见之远景，而且表现了阔大而高远的意境。“如织”二字，一言烟雾密度之大，一是衬托游人离愁之浓。如果说这一句仅仅是情景交融的话，那么下一句词人便把自己的主观色彩尽情地涂抹于景物之上，似乎已把大自然人格化了。这里的“伤心碧”，语义双关，一是极言寒山之碧，一是说寒山似乎因伤心而碧透。山犹如此，人何以堪。秋天，本是文人墨客伤感的季节，又加上寒山日暮，烟锁雾封，所以游子的思归之情已达极致。因此，接下二句“暝色入高楼，有人楼上愁”中的“愁”字的逼出，自是水到渠成。“暝色”，即暮色。暝色本不会动，而曰“入高楼”，不仅十分形象地写出了夜色渐近的过程，而且似乎暗示随着夜幕的降临愁意也闯入了游子的心头。以上是上片，主要是写景，但景中有情。先写自然之景，后写人工建筑，最后写楼中之人，由远及近，极有次第。
这首词通过描写平林、寒山的深秋景色，和想象家人盼归的形象，抒发了游子思妇的两地相思之情。此词层次清晰，跌宕有序。移情于景，情景相生。既有鲜明的形象描写，又有细致的心理刻画。句子简约而不晦涩，文字质朴而不平板，可为唐代文人词中上乘之作。
下片立足于主观的感受上。在暮霭沉沉之中，主人公久久地站立在石阶前，感到的只是一片空茫。“空”也是上片所勾画的景物感染下的必然结果。主观情绪并不是孤立存在着的，它立刻又融入了景物之中——“宿鸟归飞急”。这一句插得很巧妙。作者用急飞的宿鸟与久立之人形成强烈的对照。一方面，南宿鸟急归反衬出人的落拓无依；另一方面，宿鸟急归无疑地使抒情主人公的内心骚动更加剧烈。于是，整个情绪波动起来。如果说上片的“愁”字还只是处于一种泛泛的心理感受状态，那么，现在那种朦胧泛泛的意识逐渐明朗化了。它是由宿鸟急归导发的。所以下面就自然道出了：“何处是归程?”主人公此刻也急于寻求自己的归宿，来挣脱无限的愁绪。可是归程在何处呢?只不过是“长亭连短亭”，并没有一个实在的答案。有的仍然是连绵不断的落拓、惆怅和空寞，在那十里五里、长亭短亭之间。征途上无数长亭短亭，不但说明归程遥远，同时也说明归期无望，以与过片“空伫立”之“空”字相应。如此日日空候，思妇的离愁也就永无穷尽了。结句不怨行人忘返，却愁道路几千，归程迢递，不露哀怨，语甚酝藉。韩元吉《念奴娇》词云，“尊前谁唱新词，平林真有恨，寒烟如织。”短短的一首词中，掇取了密集的景物：平林、烟霭、寒山、暝色、高楼、宿鸟、长亭、短亭，借此移情、寓情、传情，手法极为娴熟，展现了丰富而复杂的内心世界活动，反映了词人在客观现实中找不到人生归宿的无限落拓惆怅的愁绪。
历来解说此词，虽然有不少论者认为它是眺远怀人之作，但更多的人却说它是羁旅行役者的思归之辞。后一种理解，大概是受了宋代文莹《湘山野录》所云“此词不知何人写在鼎州沧水驿楼”一语的影响。以为既然题于驿楼，自然是旅人在抒思归之情。其实，古代的驿站邮亭等公共场所以及庙宇名胜的墙壁上，有些诗词不一定是即景题咏，也不一定是写者自己的作品。
细玩这首词，也不是第一称谓，而是第三称谓。有如电影，从“平林”、“寒山”的远镜头，拉到“高楼”的近景，复以“暝色”做特写镜头造成气氛，最终突出“有人楼上愁”的半身镜头。分明是第三者所控制、所描撰的场景变换。下片的歇拍两句，才以代言的方法，模拟出画中人的心境。而且词中的“高楼”、“玉阶”，也不是驿舍应有之景。驿舍邮亭，是不大会有高楼的，它的阶除也决不会“雕栏玉砌”，正如村舍茅店不能以“画栋雕梁”形容一样。同时，长亭、短亭，也不是望中之景；即使是“十里一长亭，五里一短亭”中的最近一座，也不是暮色苍茫中视野所能及。何况“长亭更短亭”，不知凡几，当然只能意想于心头，不能呈现于楼头人的眼底。