诗中露面的人物，仅有诗人一人，他正从一家花园的高墙下经过，尽管墙头的花朵半隐半现，却依然望见了因枝条受到牵动而引起的悠悠的晃动。诗人由此驰骋想象，他推测在墙的那一边，正有一位美人在摘花，而不只是由风吹的缘故。
此诗从第一句到第二句，一进一退。第一句是一个省去“尽管”或“突然”的让步副句，在文势上作一顿挫；第二句是一个省去“尽管”或“虽然”的让步副句，在文势上作一顿挫；第二句以副词“犹”字反接进行强调，文势振起。诗歌形象由“花半隐”的静态描绘随即转换成“动花枝”的动态描写。视觉形象上的这一跌宕变化，引起诗人心中的疑虑与猜想。故后两句由料想之词“当”字引出。诗人判断止于疑是之间，“当由”与“讵止”（岂只之意）一呼一应，情韵回萦，意味绵长。事实上，是否真的有美人在摘花呢？倒也未必。然而诗人想象如此，希望如此，即使读者也无不但愿生活中有过这样一个小小的插曲，在大墙内外曾经发生过如此戏剧性的一幕。
此诗不仅自身值得玩味，且对后世亦有所影响。《西厢记》写莺莺为约会张生，写了一首很有名的《明月三五诗》：“待月西厢下，迎风户半开；拂墙花影动，疑是玉人来。”后两句就可能受到刘孝威的这首《望隔墙花》的启发。苏轼的《蝶恋花·花褪残红青杏小》中写“墙里秋千墙外道。墙外行人,墙里佳人笑。笑渐不闻声渐悄，多情却被无情恼”，从墙里与墙外进行构想，或许也曾借鉴过此诗的思路。
韦司马，即韦爱。公元501年（齐东昏侯永元三年）春正月，萧衍为征东将军，从襄阳兴师讨伐东昏侯，留弟冠军将军萧伟行雍州（治所在今湖北襄阳）州府事，以壮武将军韦爱为其司马，带襄阳令。时齐兴太守颜僧都等据郡反，爱沉敏有谋，率众千余人，与僧都等战于始平郡南，大破之。公元502年（梁天监元年），进号辅国将军，寻除宁蜀太守，与益州刺史邓元起西上袭刘季连，行至公安，道病卒（见《梁书·韦爱传》）。此诗当作于公元501年韦爱为雍州司马时。
张玉谷说：“此送别后还家写意之诗，非送别时作也。”（《古诗赏析》）全诗三十句，可言为五个段落，每段六句。第一段写江边话别时难舍难言的情景。第二段写韦爱乘舟离去，作者登楼远望时的心情。第三段写送归路上的感受。第四段写到家所见情景。第五段写辗转思念、夜不成寐的苦况。可谓层次言明，结构谨严。
这首诗最突出的艺术特色之一，就是成功地运用了“顶真格”。所谓“顶真格”,就是以上句的末几字（词语或句子）做下句的开头，使语句递接紧凑而生动畅达，读来抑扬顿挫，缠绵不绝。亦称“联珠格”。这里又有两种情况：一种是几乎句句“联珠”的，如李白的《白云歌送刘十六归山》：“楚山秦山皆白云，白云处处长随君。长随君，君入楚山里，云亦随君渡湘水。湘水上，女萝衣，白云堪卧君早归。”宋元时更流行为一种带游戏性的文体，如《中原音韵》载《越调·小桃红》：“断肠人寄断肠词，词写心间事，事到头来不由自，自寻思，思量往日真诚志，志诚是有，有情谁似，似俺那人儿。”一种是段与段之间“联珠”的，这首诗就是这样。全诗五段，每段最后几字与下段最前几字相同或稍有变化，如第二段结尾“汹汹浪隐舟”与第三段开头“隐舟邈已远”,第四段结尾“竹里见萤飞”与第五段“萤飞飞不息”，首尾两字完全相同；而第一段结尾“萧萧行帆举”与第二段开头“举帆越中流”，第三段结尾“知予衔泪返”与第四段开头“衔泪心依依”，首尾两三字则错综变化。运用“顶真格”,将全诗很自然地言为五个段落，每段都是六句，而且一段一换韵，平仄韵相间，又每段首句入韵。这样，从形式上看，非常整齐谨严，从声律上讲，读来反复顿挫，蝉联不断，大有缠绵悱恻，余音绕梁三日不绝之妙，恰切地反映了主人公依恋难舍、思念不已的感情。所以沈德潜说：“每于顿挫处，蝉联而下，一往情深。”（《古诗源》卷十三）
另一个艺术特色，就是叠字的运用。全诗共用了六组叠字，都恰到好处。如“悯悯言手毕，萧萧行帆举”，将风催舟发主客不忍离别的情景维妙维肖地表现了出来。这或许是化用了梁简文帝萧纲《伤离新体诗》的“凄凄隐去棹，悯悯怆还途”诗意。“逦逦山蔽日，汹汹浪隐舟”,连绵起伏的山峦隐没了落日的光辉，也挡住了送行者的视线，友人乘坐的小船在惊涛骇浪中忽隐忽现，这既写出了旅途的艰险，又细微深刻地表现了作者对友人的担心和关切。离情别景，宛然在目。“依依”,思恋之貌,“暧暧”，昏昧之貌，而这“暧暧”的薄暮景象，与那“依依”的离情别绪交织在一起，更加增强了艺术的感染力量。
上片“鼓鞞惊破霓裳，海棠亭北多风雨。”起笔即点出德祐之难，词人用形象的语言，写亡国的巨变。朝廷还沉浸在欢歌乐舞之中，却突然被城外惊天动地的战鼓惊醒，战争的血雨腥骤然降落的皇城深宫。这里，词人借唐天宝之变写本朝之事，借历史来喻今，批判朝廷的败落。”玉啼金泣“兼用金人滴泪的典故，写易代被遣的悲哀，颇为贴切。“驼背模糊，马头匼匝，朝朝暮暮。”化用杜甫“马头金匿匝，驼背锦模糊。”诗句，承上“此行良苦”，想象到敌国之地的亡国奴生活。“自都门燕别，龙艘锦缆，空载得、春归去。”三句，极言其“苦”。南下和北上都是亡国之事这三句，既是舟载北行的实况写照，意谓国运已尽、无力回天。“春”是押解出发的季节，象征南宋国运。“春归去”指南宋王朝的国亡如春天一样终结。“空”字浸透了徒唤奈何的深悲。
下片转写船经淮河时的感受。“长淮”点题“淮河舟中”。“非吾土”用王粲《登楼赋》“虽信美而非吾土兮”之意。望断长淮，美景色已非昔日色调，盖心情不同之故。“目断”“怅”，眷恋、凄婉之情赤者然墨上。“受降城下，草如霜白，凄凉酸楚。”三句借用唐李益《夜上受降城闻笛》诗句：“受降城外月如霜”，再以设想之辞，想起以后的生活，心中泛起陈陈酸楚。汉、唐均有受降城，多在西北边塞但非一地。这里仅借用而已，不是实指。“粉阵红围，夜深人静，谁宾谁主？”目光又从远方回到近旁。帝王、侍臣、后妃、宫女、等级原本森严，而今“粉阵红围”皆为囚徒，主奴难辨，不分宾主。在狭窄的小舟中，拥挤着入眠。唯独那位满怀愁绪，多愁善感的宫女，在孤灯下弹拨着琴弦，也撩拨着词人幽伤的心绪。最后“对渔灯一点，羁愁一搦，谱琴中语。”直应词题“夜闻宫人琴声”收束全篇，含蕴悠长。
上片重在铺陈背景，下片围绕题面。全词着重展示被掳北上、舟行淮河的见闻和感受，同时又将眼前实景及行程的记叙与回忆及设想结合起来，将时间和空间大为拓展，而且又统一在“惊”“苦”“愁”及“凄凉酸楚相交杂的感情基调上，显得跌宕起伏而又真切感人。
这首词描写边塞风物，表现征人的乡愁。词以“紫塞月明千里”开篇。北国早寒，夜间披金甲，本已凄冷难耐。孤独中眺望远天，只见明月临关，光照千里。浩荡的月色更引发乡思。紫塞与长安之间，隔千里兮共明月，对月怀人，千载同此情感，思极入梦，因有“梦长安”之语。牛峤是唐僖宗时的进士，他笔下的人物所梦的长安，当是实指，不是如后世之以长安代指京师。说是“梦长安”当兼思故土与念亲人，且当不止此一夕为然，所以下片便不接写梦中所见如何如何，不写比写出的容量更多。
下片仍是写月夜望乡。残夜行将消逝，望中只见高天辽阔，残星暗淡。慢漫飞雪中乡关迷茫。只听得戍楼之间回荡的画角数声，呜咽沉郁。在愁人听来，真是如拉如诉。后来周邦彦《浪淘沙慢》过片的“情切，望中地远天阔。向露冷风清无人处，耿耿寒漏咽”几勺，便从此出。唐末五代时期，战争频仍，民不聊生。而词坛上最多追逐声色艳情之作。诚如陆游《跋花间集》所说：“方斯时，天下岌岌，生民救死不暇，上大夫乃流宕如此，可叹也战！或者亦出于无聊故耶？”牛峤虽属花间派，在香艳的词作之外，还能将创作的视野由花间樽前扩展到边来戍楼，写出反映征人离愁之苦的作品，是很难得的。
这首词所写的边塞乡愁，从其情调上看，更接近中唐李益的边塞七绝。它们所表现的悲凉、凄冷的情韵、气氛，正是日益衰败的悲剧时代的新反映。牛峤以紫塞戍楼、中天皓月、飞雪漫漫等景物寄情，使得这首小词的境界显得阔大、雄浑，因此，虽悲凉而不绝望，虽凄冷而含有对温情、幸福的期待。
