这首诗第一联是把一个景色分两句写。楚王宫和白帝城。都是夔州的古迹，诗人用来代表夔州。两句诗只是说夔州雨后斜阳的石候。第二联说斜阳返照到江水上，好像山壁都翻倒在江中，从四面八方聚拢来的云遮蔽了树林，使山下的村庄都看不见了。第三联写自己年迈病肺，只有高枕而卧，因身在这遥远的边塞，感伤石事的心情，也只好早早闭门。其言外之意是说：没有观赏晚景的心情。夔州是川东的门户，故称绝塞。“愁石”和“肺病”作对，应讲作“哀石”，哀伤石世，不能讲作忧愁的石候。最后一联是说自己想回北方却未能成行。“豺虎乱”是用王粲的《七哀诗》诗句。杜甫有《夔府书怀四十韵》长诗一首，其中叙述了当石夔州人民的困苦和军人的跋扈。到大历三年（768年），果然不出诗人所料，发生了杨子琳杀死夔州别驾张忠，据城夺权的乱事。末句意义比较隐晦，旧注以为此句“言在此屡遭寇乱，旅魂已将惊散也”（见《杜诗详注》）。这是臆解，没有扣上原句字面。“未招魂”不能讲作“旅魂惊散”。而且，“南方”二字也没有着落。“实”字是杜甫的特殊字法，有几处用得出人意外。《秋兴八首》第二首有一句“听猿实下三声泪”，和这里的“实有未招魂”，从来都是含糊读过，没有人讲出作者本意。
理解这两个“实”字的前提是弄清楚作者的思想基础。屈原被放逐在江南，形容憔悴。他的学生宋玉写了一篇《招魂》以振作他老师的精神。其中有一句“魂兮归来，南方不可以止些”。杜甫想到了这一句，用来比喻自己，所以说南方确实还有一个未招归的旅魂，用以表达自己想回北方去的意志。杜甫此句必须联想宋玉的《招魂》，就才能体会这个“实”字的来历。杜甫还有一首《归梦》诗云：“梦魂归未得，不用楚辞招”，可以作为此句的鉴证。吴昌祺释此句云：“南方非久居之地，何无人招我魂而去此土也。”（《删订唐诗解》）沈德潜注云：“己之惊魂，不能招之北归。”（《唐诗别裁》）这两个注都是仅仅阐发诗意，而没有联系《楚辞·招魂》，因而没有接触到“实有”二字的作用。
《水经注》在描写长江巫峡风景的一段中记录了两句渔民的歌谣：“巴东三峡巫峡长，猿鸣三声泪沾裳。”杜甫思想上涌现这个歌谣，所以说：听了巫峡的猿啼，真要掉下眼泪。“三声泪”是摘用原句中三个字。其实“三声”是猿啼三声，“泪”是行人旅客听了猿啼而下泪。如果杜甫思想上没有这两句歌谣为依据，“三声泪”本来不能成为一个词语。杜甫诗集中已注明了这首渔民歌谣，故这个“实”字容易理解。但是，除了《唐诗解》以外，都没有注出《招魂》二句，故“南方”与“实有”都使人不易了解。
元好问认为西晋诗坛中继承了建安文风的有不少，建安风骨的影响还是比较大（“壮怀犹见缺壶歌”），但也有了“儿女情多，风云气少”（钟嵘评张华诗语）的诗歌。建安风骨是元好问所肯定的诗歌风格，所以他以张华为例，认为张华虽然以其诗绮靡婉艳，文字妍冶而名高一时，但是缺乏豪壮慷慨之气，至于到了晚唐的温庭筠、李商隐，更是儿女情长，风格婉约。“奈若何”句表明了元好问对绮靡文风的不满情绪，对诗歌绮靡文风的发展的认识。
这首诗首联从虚处入笔，借羡慕杜牧的才情自抑，达到总赞西湖美丽的目的，带出全篇；颔联和颈联从正面写西湖，以秾丽的笔墨，通过视觉、听觉、嗅觉、触觉，全方位地展示了赏心悦目的湖山旖旎风光。尾联说诗人产生了要做渔翁，融合进这美妙的图画中去的企盼。诗全篇浑成，起句高妙，中二联鲜华妍丽，有西昆诗风，对联也很工，以“茶鼓”对“酒旗”对得很巧；结句收煞得体。
诗篇一开端，就用感喟企望的语气，披露了诗人对西湖的赞赏之情。杜牧因写过许多描摹湖山的名作，而深受人们推崇，故李商隐有“刻意伤春复伤别，人间惟有杜司勋”（《杜司勋》）之句。这里借企慕杜牧来赞美西湖怎能得有杜牧那样的才华之士来西湖题诗，以赞誉人间的美景。写法上是借客尊主，从侧面入题，振起全篇。
人间虽难得有杜牧的才华，但来到湖上，光水色，赏心悦目，雅兴遄飞，正可吟诗。以此，中间四句转入对西湖春景的正面描写：西湖边处处寺院，缭绕着袅袅飘动的春烟，时而传出一阵集合僧人饮茶的鼓声；孤山下楼台亭榭，披上了夕阳的霞光异彩，屋角间高插着招徕顾客的酒旗；起伏的山岩中，盛开着万紫千红的春花，散发出浓郁的芳香；湖面游客的画船，冲破荡漾的波光摇前进，水花溅湿了刻画在船头上的双双翠鸟这是多么细腻真切的西湖春光图。中间四句，一句一景。写寺院，在春烟中响起茶鼓，足见其中香火之盛、僧徒之多；写楼台，于夕阳斜照中招展酒旗，暗示早晚游客不断，店铺繁忙。写山色，以“杂芳”烘染，“熏”三字，给人以浓香扑面之感。写湖光，借画舫点缀“破涟漪”一语，写出游船的幽闲和湖水的平静。无论游山泛湖，还是寻访寺院，登临楼台，人们所领略的无不是一派赏心悦目、春意盎然的旖旎风光。这里采用移步换景的手法，工笔刻画，不仅描摹出作用于视觉的生动画面，且从听觉、嗅觉、触觉各种角度，使读者感受到西湖春日的繁忙兴旺欣欣向荣。
尾联抒写诗人对西湖的总体感受，意义上同首联呼应，措辞上也同开端绾合。人生难有杜牧之才，人间却幸有蓑衣和苇笠，湖上题诗也许才情不够，驾起渔舟做一名钓翁总还可以吧。总之，寓西湖风光，恋恋不忍离去，不免产生栖身湖山的凝想和雅志，未能有诗才，幸能有蓑笠，不能作诗人，且可作钓叟。“幸”、“且”两词，回应上文“争得”，使结构谨严，浑然一体。