苏轼这首《虢国夫人夜游图》和杜甫的《丽人行》在题材和主旨上一脉相承，含有一定的讽谕意义。
诗的起四句为第一段，渲染虢国夫人恃宠骄肆。前两句所描绘的形象，正是图中虢国夫人形象的再现。作者写这位佳人，驾驭玉花骢马，淡妆多态。她骑在骏马上，身段轻盈，恍如惊飞的春燕。骏马骄驰在进宫的大道上，宛若游龙。美人名马，相互辉映；神采飞动，容光艳丽。《明皇杂录》记载：虢国夫人出入宫廷，常乘紫骢，使小黄门为御者。画和诗所绘写的都有所据。“金鞭争道”两句，写虢国夫人的骄纵，和杨家炙手可热的气焰。作者用“金鞭争道宝钗落”这句，再现了图中的情景。为了抢先进入明光宫，杨家豪奴，挥动金鞭与公主争道，致使公主惊下马来，宝钗堕地。据史载，某年正月十五日，杨家五宅夜游，与广平公主争道西市门，结果公主受惊落马。诗所写的，正是画意所在。
诗的第二段是“宫中羯鼓催花柳”以下六句，写虢国夫人入宫和宫中的情事。此时宫中正作“羯鼓催花”之戏，贵妃亲自弹拨琵琶，汝阳王李琏在敲击羯鼓。在羯鼓争催的情况下，弦歌并起，舞姿柔曼，柳宠花娇。秦国夫人已经先期艳妆就座，打扮得非常娇贵。虢国夫人乘车缓缓而行，惊尘不动，素妆淡雅。入宫以后马的步子是放慢了。其是珠光宝气，人影衣香，花团锦簇，在不夜的宫廷里，一派欢乐情景，纷呈纸上。诗中叙玉奴和八姨作为衬映，而“自鞚玉花骢”的佳人，才是主体。画图是入神之画，诗是传神之诗，诗情画意，融为一体。作者写诗至此，于欢情笑意中，陡作警醒之笔。作者说：这绝代的佳人，如今又在何处呢？她那明眸皓齿，除了画图之外，谁又曾见到过呢？当年的欢笑，似乎今天在丹青上只留下点点惨痛的泪痕了。陡转两句，笔力千钧。
第三段是最后四句，紧承前文，作者在观图感叹之后，更对历史上一些回环往复的旧事，致以深沉的感慨。诗说：“吴公台下雷塘路，人间俯仰成今古。当时亦笑张丽华，不知门外韩擒虎。”历史上的隋炀帝，当年也曾嘲笑过陈叔宝、张丽华一味享乐，不恤国事，不知道韩擒虎已经带领隋兵迫近宫门。可是他后来也步陈叔宝的后尘，俯仰之间，身死人手，国破家亡，繁华成为尘土。言外之意，是说唐明皇、杨玉环、虢国夫人等，又重蹈了隋炀帝的覆辙。“吴公台下雷塘路”，葬埋了隋朝风流天子；“马嵬坡下泥土中”，也不仅仅只是留下杨玉环的血污，她的三姨虢国夫人也在那里被杀掉了。荒淫享乐者的下场，千古以来，如出一辙。昙花一现的恩宠，换来的仅仅是一幅供人凭吊的图画。
全诗着意鲜明，前两段十句，全以画意为诗，笔墨酣畅。“明眸皓齿”两句转入主题，作轻微的感叹。末段四句，揭示意图，语意新警，亦讽亦慨，而千古恨事亦在其中，如此题图，大笔淋漓，有如史论，引人深思。
“绿玉枝头一粟黄，碧纱帐里梦魂香。”首句正面赋其形，次句据此加以引申。这两句一写实一比拟，虚实相映，既生动又让人产生美好的遐想。
“晓风和月步新凉。”在天气初凉的八月金秋，桂花便在晓风中和月光下暗暗地绽放飘香。此句描绘桂花开放的季节和四周的环境，突出了它的幽香和冷艳。
“吟倚画栏怀李贺，笑持玉斧恨吴刚。”李贺的《梦天》诗中有“玉轮轧露湿团光，鸾佩相逢桂香陌”之句；在《神弦别曲》中则有“南山桂树为君死，云衫浅污红脂花”之句。吴刚：传说中的月中老人。据《酉阳杂俎》载，吴刚学仙有过，被谪月中伐桂。桂高五百尺，斧痕随斫随合。这两句就有关桂花的传说展开联想，意趣横生，此二句中一“怀”、“一恨”，无不表达出词人对桂花的珍爱之情。
“素娥不嫁为谁妆?”嫦娥美丽，但在传说中她又是一位独居月宫中的嫠妇，故词人有此问语，同时也是为了增添词的情趣。之所以提到嫦娥，因为她是月亮的化身、桂花的精魄。
