此诗系诗人归隐之作，诗中发泄了一种怨悱之情。首联两句记事，叙述停止追求仕进，归隐南山；颔联两句说理，抒发怀才不遇的感慨；颈联两句写景，自叹虚度年华，壮志难酬；尾联两句阐发愁寂空虚之情。全诗语言丰富，层层辗转反复，风格悠远深厚，富有韵味。
落第后的孟浩然有一肚子的牢骚而又不好发作，因而以自怨自艾的形式抒发仕途失意的幽思。这首诗表面上是一连串的自责自怪，骨子里却是层出不尽的怨天尤人；说的是自己一无可取之言，怨的是才不为世用之情。
字面上说“北阙休上书”，实际上表达的正是“魏阙心常在，金门诏不忘”的情意。只不过这时他才发觉以前的想法太天真了；原以为有了马周“直犯龙颜请恩泽”的先例，唐天子便会代代如此；却才发现：现实是这样令人失望。因而一腔幽愤，从这“北阙休上书”的自艾之言中倾出。明乎此，“南山归敝庐”本非所愿，不得已也。诸般矛盾心绪，一语道出，富有余味。
三四句具体回述失意的缘由。“不才明主弃”，感情十分复杂，有反语的性质而又不尽是反语。诗人自幼抱负非凡，“执鞭慕夫子，捧檄怀毛公，感激遂弹冠，安能守固穷！”他也自赞“词赋亦颇工”。其志如此，其才如此，不谓“不才”。因此，说“不才”既是谦词，又兼含了有才不被人识、良骥未遇伯乐的感慨。而这个不识“才”的不是别人，正是“明主”。可见，“明”也是“不明”的微词，带有埋怨意味的。此外，“明主”这一谀词，也确实含有谀美的用意，反映他求仕之心尚未灭绝，还希望皇上见用。这一句，写得有怨悱，有自怜，有哀伤，也有恳请，感情相当复杂。
而“多病故人疏”比上句更为委婉深致，一波三折；本是怨“故人”不予引荐或引荐不力，而诗人却说是因为自己“多病”而疏远了故人，这是一层；古代，“穷”、“病”相通，借“多病”说“途穷”，自见对世态炎凉之怨，这又是一层；说因“故人疏”而不能使明主明察自己，这又是一层。这三层含义，最后一层才是主旨。
求仕情切，宦途渺茫，鬓发已白，功名未就，诗人不可能不忧虑焦急。五六句就是这种心境的写照。白发、青阳（春日），本是无情物，缀以“催”“逼”二字，恰切地表现诗人不愿以白衣终老此生而又无可奈何的复杂感情。
也正是由于诗人陷入了不可排解的苦闷之中，才使他“永怀愁不寐”，写出了思绪萦绕，焦虑难堪之情态。“松月夜窗虚”，更是匠心独运，它把前面的意思放开，却正衬出了怨愤的难解。看似写景，实是抒情：一则补充了上句中的“不寐”，再则情景浑一，余味无穷，那迷蒙空寂的夜景，与内心落寞惆怅的心绪是十分相似的。“虚”字更是语涉双关，把院落的空虚，静夜的空虚，仕途的空虚，心绪的空虚，包容无余。
苏轼这首《虢国夫人夜游图》和杜甫的《丽人行》在题材和主旨上一脉相承，含有一定的讽谕意义。
诗的起四句为第一段，渲染虢国夫人恃宠骄肆。前两句所描绘的形象，正是图中虢国夫人形象的再现。作者写这位佳人，驾驭玉花骢马，淡妆多态。她骑在骏马上，身段轻盈，恍如惊飞的春燕。骏马骄驰在进宫的大道上，宛若游龙。美人名马，相互辉映；神采飞动，容光艳丽。《明皇杂录》记载：虢国夫人出入宫廷，常乘紫骢，使小黄门为御者。画和诗所绘写的都有所据。“金鞭争道”两句，写虢国夫人的骄纵，和杨家炙手可热的气焰。作者用“金鞭争道宝钗落”这句，再现了图中的情景。为了抢先进入明光宫，杨家豪奴，挥动金鞭与公主争道，致使公主惊下马来，宝钗堕地。据史载，某年正月十五日，杨家五宅夜游，与广平公主争道西市门，结果公主受惊落马。诗所写的，正是画意所在。
诗的第二段是“宫中羯鼓催花柳”以下六句，写虢国夫人入宫和宫中的情事。此时宫中正作“羯鼓催花”之戏，贵妃亲自弹拨琵琶，汝阳王李琏在敲击羯鼓。在羯鼓争催的情况下，弦歌并起，舞姿柔曼，柳宠花娇。秦国夫人已经先期艳妆就座，打扮得非常娇贵。虢国夫人乘车缓缓而行，惊尘不动，素妆淡雅。入宫以后马的步子是放慢了。其是珠光宝气，人影衣香，花团锦簇，在不夜的宫廷里，一派欢乐情景，纷呈纸上。诗中叙玉奴和八姨作为衬映，而“自鞚玉花骢”的佳人，才是主体。画图是入神之画，诗是传神之诗，诗情画意，融为一体。作者写诗至此，于欢情笑意中，陡作警醒之笔。作者说：这绝代的佳人，如今又在何处呢？她那明眸皓齿，除了画图之外，谁又曾见到过呢？当年的欢笑，似乎今天在丹青上只留下点点惨痛的泪痕了。陡转两句，笔力千钧。
第三段是最后四句，紧承前文，作者在观图感叹之后，更对历史上一些回环往复的旧事，致以深沉的感慨。诗说：“吴公台下雷塘路，人间俯仰成今古。当时亦笑张丽华，不知门外韩擒虎。”历史上的隋炀帝，当年也曾嘲笑过陈叔宝、张丽华一味享乐，不恤国事，不知道韩擒虎已经带领隋兵迫近宫门。可是他后来也步陈叔宝的后尘，俯仰之间，身死人手，国破家亡，繁华成为尘土。言外之意，是说唐明皇、杨玉环、虢国夫人等，又重蹈了隋炀帝的覆辙。“吴公台下雷塘路”，葬埋了隋朝风流天子；“马嵬坡下泥土中”，也不仅仅只是留下杨玉环的血污，她的三姨虢国夫人也在那里被杀掉了。荒淫享乐者的下场，千古以来，如出一辙。昙花一现的恩宠，换来的仅仅是一幅供人凭吊的图画。
全诗着意鲜明，前两段十句，全以画意为诗，笔墨酣畅。“明眸皓齿”两句转入主题，作轻微的感叹。末段四句，揭示意图，语意新警，亦讽亦慨，而千古恨事亦在其中，如此题图，大笔淋漓，有如史论，引人深思。
这首诗在“静”与“动”的描写安排上十分巧妙，色彩运用也恰到好处：黄色的沙滩，斑驳的渔船，深褐色的堤岸，碧绿的江水，青青的芦荡，白色的芦花，洁白的水鸟，在血红的残阳映照下，更显得色彩浓郁，陆离绚丽，耀人眼目。
“照”、“搁”、“立”、“入”等动词看似平淡无奇，实际运用的十分准确恰当，使整首诗画面生动起来。充分体现诗人炼字的功夫。