诗中露面的人物，仅有诗人一人，他正从一家花园的高墙下经过，尽管墙头的花朵半隐半现，却依然望见了因枝条受到牵动而引起的悠悠的晃动。诗人由此驰骋想象，他推测在墙的那一边，正有一位美人在摘花，而不只是由风吹的缘故。
此诗从第一句到第二句，一进一退。第一句是一个省去“尽管”或“突然”的让步副句，在文势上作一顿挫；第二句是一个省去“尽管”或“虽然”的让步副句，在文势上作一顿挫；第二句以副词“犹”字反接进行强调，文势振起。诗歌形象由“花半隐”的静态描绘随即转换成“动花枝”的动态描写。视觉形象上的这一跌宕变化，引起诗人心中的疑虑与猜想。故后两句由料想之词“当”字引出。诗人判断止于疑是之间，“当由”与“讵止”（岂只之意）一呼一应，情韵回萦，意味绵长。事实上，是否真的有美人在摘花呢？倒也未必。然而诗人想象如此，希望如此，即使读者也无不但愿生活中有过这样一个小小的插曲，在大墙内外曾经发生过如此戏剧性的一幕。
此诗不仅自身值得玩味，且对后世亦有所影响。《西厢记》写莺莺为约会张生，写了一首很有名的《明月三五诗》：“待月西厢下，迎风户半开；拂墙花影动，疑是玉人来。”后两句就可能受到刘孝威的这首《望隔墙花》的启发。苏轼的《蝶恋花·花褪残红青杏小》中写“墙里秋千墙外道。墙外行人,墙里佳人笑。笑渐不闻声渐悄，多情却被无情恼”，从墙里与墙外进行构想，或许也曾借鉴过此诗的思路。
该词上片写大都的盛况。“钿车骄马锦相连，香尘逐管弦。”写大都街上，车马豪华，多不胜数，前后相连，络绎不绝。起首一句表明士女欢游，场面豪华热烈。 次句用“香尘”、“管弦”进一步描绘游乐活动之盛，同时又谊染了气氛，使之更表现出盛况空前。“瞥然，飞过水秋干，清明寒食天。”“水秋千”原指南方在秋千架上翻筋斗跳水的一种游戏，在这实指与此相仿的北方的荡秋干。突然间，见秋千荡起，才醒悟到原来是清明寒食节。《天金遗事》载： 天宝宫中至寒食节竟筑秋千，令宫嫔辈戏笑以为宴乐，帝（玄宗） 呼为半仙之戏，都中士民相与仿之。流传民间，使寒食节以秋千为戏。以此作者可知是寒食节。短短几句，钿车、骄马、香尘、管弦和飞动的水秋千，组成了一幅“清明寒食天”的宏观景象图。
词的下片写词人追怀京都生活中与一位女郎的一段缠绵往事。 “花贴贴，柳悬悬。莺房几醉眠。”“莺房几醉眠”，可见词人与“莺房”的女主人关系非同一般。“花贴贴，柳悬悬“正表现了两人缠绵的生活。 “醉中不信有啼鹃”，“啼鹃”是悲苦的象征，杜鹃啼血既是悲苦，又是离别的象征。作者不相信与那位女郎会有离别悲苦之事，不相信会离开她。但事与愿违，终又劳燕分飞，天隔方，只能将深深的思念留在京都，直至二十年后还时常想起，“江南二十年”即是写此。有人考证词中女郎可能是张炎的老相识，杭州歌妓沈梅娇。
全词充满作者对过去美好生活的回忆，为更好地表现那段生活，作者择选了《阮郎归》 的词牌调，使语句韵味十足，词调形成一种优美的“节奏流”，语言、情感如流水般自然倾泻，内容和形式达到了和谐统一。
“昨夜新看北固山，今朝又上广陵船。金焦在眼苦难攀”，三句接连写出了四个地名，而且都是旅游胜地，初看给人一种游玩山水的感觉，细看却并非如此。首先到了京口北固山却只能“看山”而不能登山，这是一层遗憾。其次，纵然看山未能在白天而是晚上，这又是一种遗憾。而离开镇江的时候，有名的金山和焦山就近在眼前，却无缘享受登山之乐，这是第三层遗憾。这三句，完全是叙事的“赋”笔却又非单纯叙事。
“猛雨自随汀雁落，湿云常与暮鸦寒”，是在船中所闻所见。这两句看似单纯写景，其实是情景交融，浸透了作者的主观感受。因为雁与鸦都是大自然中的生命，都有求生的需求，看着它们遭受大自然风雨的打击。就使作者联想到人在谋生的奔波劳苦所受的打击。
“人天相对作愁颜”仍是写实：羁旅悲哀是人的愁颜，阴雨打开是天的悉颜。但在写实的同时，这种人天相对而愁的情景又给读者以更多的联想。
这实在是一种对人生很悲观的态度，而这首词就流露出作者的这种人生态度。
上片自写心境，构画出一个浪迹江湖的奇士形象，目的是写他豪放不羁的生活和心中的不平。首二句就奠定了全词格调。“举手钓鳌客，削迹种瓜侯”，皆以古人自比。钓鳌种瓜，本属隐居人的事，而皆有出典。
从“重来吴会”两句看出作者是重游故地：“三伏”“五湖秋”，拈用前词“莫道三伏热，便是五湖秋”字面，以点出时令，也不无上文“惟与渔椎为伴，回首得无忧”的那种互相倾轧的风气下暂得解脱的寓意。以下三句愤言国事，而自己功名未立，请缨无路。耳畔”、“身外”，皆切合不管事、无职司的人的情境。南宋爱国人士追求的功名就是恢复中原，如岳飞《小重山》词说的“白首为功名”。
过片写远望故国时百感交集的心情：“梦中原，挥老泪，遍南州。”“梦可原”是由“怅望故园愁”所致。“挥老泪”湿襟可以，但不能“遍南州”。这是夸张，是受风雨入梦的影响。此句大有后来陆游“胡未灭，鬓先秋，泪空流”之慨。因在睡中，故不得“高卧”二字，联及平生志向，遂写出“元龙湖海豪气，百尺卧高楼”的壮语。借三国陈登事，以喻作者自己“豪气未除”（《三国志》许汜议陈登语）。可见作者闲游湖海，实际上并非情愿。以下“短发霜粘两鬓”从“老”字来，“清夜盆倾一雨”应“泪”字来，是写夜晚闻雨声而惊梦事。何以会“喜听瓦鸣沟”？这恰似陆游的“夜阑卧听风吹雨，铁马冰河入梦来”（《十一月四日风雨大作》）。滂沱大雨倾泻于瓦沟，轰响有如戈鸣马嘶，可为“一洗中原膏血”的象征，此时僵卧而尚思报国的人听了怎能不激动了是的，自己“犹有壮心在”呢！壮心同雨水汇入百川，而归大海，是人心所向，故云“付与百川流”。
全词处处交织在壮志难酬而壮心犹在的复杂感情之中，故悲愤而激昂，相应地，词笔亦极驰骋。从行迹写到内心，从现实写到梦境。又一气写成，从“钓鳌客”、“五湖秋”、“风波摇荡”、“湖海豪气”、“盆倾一雨”、“瓦鸣沟”到“百川流”，所有的景象似乎却汇合成一股汹涌的狂流，使人感到作者心潮澎湃，起伏万千，具有极强的艺术感染力。词中屡借古人酒杯言有尽而意无穷，故豪放而不粗疏。词写风雨大作有感，笔下亦交响着急风骤雨的旋律。“芦川词，人称其长于悲愤”（毛晋《芦川词》跋），评说甚当。