诗中露面的人物，仅有诗人一人，他正从一家花园的高墙下经过，尽管墙头的花朵半隐半现，却依然望见了因枝条受到牵动而引起的悠悠的晃动。诗人由此驰骋想象，他推测在墙的那一边，正有一位美人在摘花，而不只是由风吹的缘故。
此诗从第一句到第二句，一进一退。第一句是一个省去“尽管”或“突然”的让步副句，在文势上作一顿挫；第二句是一个省去“尽管”或“虽然”的让步副句，在文势上作一顿挫；第二句以副词“犹”字反接进行强调，文势振起。诗歌形象由“花半隐”的静态描绘随即转换成“动花枝”的动态描写。视觉形象上的这一跌宕变化，引起诗人心中的疑虑与猜想。故后两句由料想之词“当”字引出。诗人判断止于疑是之间，“当由”与“讵止”（岂只之意）一呼一应，情韵回萦，意味绵长。事实上，是否真的有美人在摘花呢？倒也未必。然而诗人想象如此，希望如此，即使读者也无不但愿生活中有过这样一个小小的插曲，在大墙内外曾经发生过如此戏剧性的一幕。
此诗不仅自身值得玩味，且对后世亦有所影响。《西厢记》写莺莺为约会张生，写了一首很有名的《明月三五诗》：“待月西厢下，迎风户半开；拂墙花影动，疑是玉人来。”后两句就可能受到刘孝威的这首《望隔墙花》的启发。苏轼的《蝶恋花·花褪残红青杏小》中写“墙里秋千墙外道。墙外行人,墙里佳人笑。笑渐不闻声渐悄，多情却被无情恼”，从墙里与墙外进行构想，或许也曾借鉴过此诗的思路。
词人故里高邮，南距镇江仅不足二百里。他在宋元丰七年（1083年）前，曾数次到镇江，因此具有较丰厚的生活积累，写来十分真切。可与前面的《望海潮》“扬州怀古”、“越州怀古”相比，词之意境有过之而无不及。
此词上阕涉及往昔欢娱，记忆犹新；下阕“感深荆赋”，托讽《九辨》。而《九辨》中有“坎凛兮，贫士失职而志不平；廓落兮而无友生”之句，似与词人之坎坷遭遇相合。考少游生平，宋元丰元午（1078年）、五年（1082年）考进士，皆不中。六年（1083年）作《精骑集序》，曰：“比数年来，颇发愤自惩艾，悔前所为；而聪明衰耗，殆不如曩时十一、二。”词云“感深荆赋”，又曰“潘鬓点、吴霜渐稠”。衰老之感，不遇之情，隐然而见。
词之特点，是在雄伟壮丽的背景中寓有潇洒之致，柔婉之情，可谓豪放中有婉约，沉郁顿拙，感慨万千。起首三句，写镇江形势，备极壮丽。镇江北濒长江，中贯运河，周围有山，在历史上，除金、焦、北固外，以蒜山为著名。词云“铁瓮城高，蒜山渡阔”，以雄浑之笔，勾勒了这座古城的风貌。“干云十二层楼”，以夸张语气，描写了城内高楼直插云霄的气势。“开尊”二句谓斟满芳酒，等待月上东山；放下湘帘，迎风而立，充满了豪情胜慨。苏轼《水调歌头》“明月几时有？把酒问青天”；黄庭坚《念奴娇》“万里青天，垣娥何处，驾此一轮玉”？皆写待月，方之此词，可谓异曲而同工。苏黄之词超旷豪迈，秦观此词，则潇洒出尘。接着一句，由润州待月，而及扬州灯火，乍看有些突兀，实亦自然宛转。扬州在长江之北，距润州仅四十余里，唐宋时甚为繁华，词人故里，在其属下。此时他在润州“开尊待月”，忽见不远处灯火阑珊，于是情不自禁地忆起在扬州时的冶游。可见此句颇似今日电影之“暗转”，有承上启下的作用。自此以下，乃回忆扬州时的艳遇。所谓“绮陌”，实乃“春风十里扬州路”。所谓“宛转歌”、“温柔乡”，实乃指在扬州青楼听歌赏舞之事。何以见得？试以《梦扬州》一词下阕印证：“长记曾陪宴游，酬妙舞清歌，丽锦缠头。滞洒困花，十载因谁淹留？”与此词所写，何其相似乃尔！歇拍三句，又写到在镇江时情景：他凭栏俯瞰长江，想象扬州旧游之地，此刻花阴之下，不知是谁系着兰舟。语意含蓄，充满惆怅迷惘之情。
过片三句，以一“念”字领格，于凝想旧情之中，打并人“身世之感”。当时他在青楼听着凄凉怨慕的筝声，引起“贫士失职而志不平”的感慨。所谓“感深荆赋”，乃以宋玉自况。宋词中往往寓有《骚》《辩》之意。清代词论家张惠言《词选·序》说词是“极命风谣里巷、男女哀乐，以道贤人君子幽约怨悱不能自言之情”，就是指的这一点。少游此词，足以当之。所谓勤裁尺素，双鱼难渡，表面上是说他修了许多情书，却难以寄到所思者的手中。镇江扬州不过一江之隔，传书送信断不会如词中写得困难。这不过是一种遁辞而已，实际上是说他的一腔理想，无由上达。因而进出“晓鉴堪羞，潘鬓点、吴霜渐稠”二句。当时秦观年约三十五、六，却发出叹老嗟卑之词，实乃抒不遇之情也。
下阕歇拍，惆怅自怜，对未来犹未丧失信心。鸳鸯未老，反衬“潘鬓吴霜”，是一大转折，盖喻遇合有时。不应悲秋，说明词人欲拂去笼罩心头的阴云，重新振作起来，去争取美好的前程。自慰亦复自励，词情一波三折，令人抚绎不尽，一本结句仅作“绸缪”二字，可谓差之毫厘，失之千里了。
