此诗是作者看了六幅描写六朝史事的彩绘后有感而写的吊古伤今之作，诗中指出这组画并没有为晚唐统治者粉饰升平，而是画出它的凄凉衰败，借六朝旧事抒发对晚唐现实的深忧。全诗语调激昂，寓意深刻，不仅对那些粉饰太平、不尊重历史事实的行为作了有力的驳斥，并点明了发生这种现象的社会原因，而且对敢于反映历史真实的六幅“伤心画”给予了高度的评价，体现了作者朴素的历史唯物主义精神。
画家是什么人，已不可考。他画的是南朝六代（东吴、东晋、宋、齐、梁、陈）的故事，因为六代均建都于金陵。这位画家并没有为南朝统治者粉饰升平，而是写出它的凄凉衰败。他在画面绘出许多老木寒云，绘出危城破堞，使人看到三百年间的金陵，并非什么郁郁葱葱的帝王之州，倒是使人产生伤感的古城。这真是不同于一般的历史组画。
比韦庄略早些时的诗人高蟾写过一首《金陵晚望》：
“曾伴浮云归晚翠，犹陪落日泛秋声。
世间无限丹青手，一片伤心画不成。”
结尾两句，感慨深沉。高蟾预感到唐王朝危机四伏，无可挽回地正在走向总崩溃的末日，他为此感到苦恼，而又无能为力。他把这种潜在的危机归结为“一片伤心”；而这“一片伤心”，在一般画家笔下是无法表达出来的。
韦庄显然是读过高蟾这首《金陵晚望》的。当他看了这六幅南朝故事的彩绘之后，高蟾“一片伤心画不成”的诗句，似乎又从记忆中浮现。“真个是画不成么？”你看这六幅南朝故事，不是已把“一片伤心”画出来了吗！于是他就提起笔来，好象针对高蟾反驳道：
“谁谓伤心画不成？画人心逐世人情。”为什么就画不成社会的“一片伤心”呢？只是因为一般的画家只想迎合世人的庸俗心理，专去画些粉饰升平的东西，而不愿意反映社会的真实面貌罢了。
诗人在否定了“伤心画不成”的说法后，举出了一个出色的例证来：“君看六幅南朝事，老木寒云满故城。”请看这幅《金陵图》吧，画面上古木枯凋，寒云笼罩，一片凄清荒凉。南朝六个小朝廷，哪一个不是昏庸无道，最后向敌人投降而结束了它们的短命历史的？这就是三百年间金陵惨淡现实的真实写照。
将高蟾的《金陵晚望》和本篇作一比较，颇耐人寻味。一个感叹“一片伤心画不成”，一个反驳说，现在不是画出来了么！其实，二人都是借六朝旧事抒发对晚唐现实的深忧，在艺术上有异曲同工之妙。
《庄子》《列子》二书中都记有这样两个有趣而发人深省的故事。一说，列御寇为伯昬（昏的异体字）无人射，列子技艺精湛，手平如砥，甚至能放一杯水在肘上，箭方去而未至靶，杯水又重新落到肘上。然而伯昬无人说“是射之射，非不射之射也”。于是他“登高山，履危石，临百仞之渊，背逡巡，足二分垂于外”，列子惊怖，伏地汗流至踵。伯昬无人就说：“那些与天道同一的至人，上窥青天，下潜黄泉。挥斥八极，神气不变。现在你害怕得直瞬眼睛，可见你内心未明自然之理，不够充实啊。”另一则故事说孔子观乎吕梁，悬瀑三十仞，流沫三十里，连鼋黾鱼鼈之属都不敢过，然而却有一个男子在其中戏水，孔子以为他想自杀，命弟子去岸边救他，那人却上了岸，披发而歌，游于塘下。孔子问他：“游泳有“道”没有？”那人回答：“并无所谓道。只因从小生长于水边，所以能安于水。唯因顺从水之道而无我见存在，所以下水就能不知其然而然，与水化为一体。”这两个故事，曾被历代诗人无数次地运用过，但是却很少见有人能像谢灵运《富春渚》诗这样，用得如此灵活而贴切。
别过了始宁故宅，灵运又浮舟西南行，进入桐庐富阳县境的富春江。富春江有两个特色，一是清，二是险。梁吴均《与宋元思书》曾状其景：“水皆缥碧，千丈见底；游鱼细石，直视无碍；急湍甚箭，猛浪若奔。夹岸高山，皆生寒树，负势竞上，互相轩邈，争高直指，千百成峰。”正写出了这两方面的特色。山水是自然形态的东西，而以之入诗文，则不可避免地染上作者的主观色调。既清且险的富春山水，在卓荦不羁的吴均眼中合成了自由竞荣，勃勃生气的清奇，所谓“奇山异水，天下独绝”。在游子羁旅的孟浩然笔下则是“野旷天低树，江清月近人”，一片清怨；然而在刚为险恶的政治风浪抛掷出来，恃才傲物，一肚子不合时宜的谢客眼中，则是另一番景象。
夜中，诗人渡过了富春东三十里的渔潭浦，清晨舟抵富阳城外。六七十里外的定山、赤亭山是富春名胜，但诗人并不往游，只是向峰顶那缅渺的云雾远远一望，又匆匆驶去。起四句连下“宵济”，“旦及”、“无淹薄”三字，可见富春秀色，此时对意兴索寞的诗人来说并引不起多大兴趣，而远山上那萦青际白的云雾，似乎正象征着他不绝无尽的愁绪。忽然水势突变，逆流而上，惊浪急湍撞击着去舟；而崖岸曲折，参差凹凸，更处处阻遏着行程。这景象真是惊心动魄，诗人自己也不知如何飘过了这一段险泷，不禁深自庆幸：尽管自己并没有伯昬无人那种履险若夷的定力，却竟然如吕梁男子般惊险地闯过了这难关。待得惊魂稍停，他倒是悟出了一条至理。《易·习卦》：“水洊至习坎”，《艮卦》又说“兼山，艮，君子以思，不出其位”，“艮其止，止其所止”。意思是，虽有重险悬绝，而水仍相继而至，这是因为水性已习惯了山坎的缘故。艮即止义，两山相重，正象征着止息之义，君子当因此而引起思索，行于所当行，止于所当止，不要越过了自己的本位。《易》象正揭示了刚才经历凶险一举的内在含义。如果自己真能像伯昬无人与吕梁丈夫一样，内心元气充实，与自然合一，完全忘掉物我、利害、险夷之间的差别，顺乎自然之理，使行动与之不期而合，那么虽然多历风险，也可达到履险若常的境地。推而广之，生活亦正同于行舟，也当顺应自然之理，那么对不久前经历的仕途风波正不必如此耿耿于怀，怨天尤人。自己平生之志本在幽栖养生，二纪之前只因意志薄弱而出山，从此就困顿于世俗之事。希求为入仕干禄已过久了，直至今天总算有了机会实现对友朋许下的远游轻举的诺言。想到这里，诗人感到蛰伏已久为世事蒙蔽的宿愿渐渐得到了舒展生发，顿时眼前的万事就如枯叶朽枝般零落不足道了。思念及此，诗人感到胸怀开张，心地光明，就如庄子所说的神明虚空无所怀的神人一样，忘掉了自身存在而任物推移。从此就只要如那蛰伏以存身的龙蛇，以屈而求伸的尺蠖那样与世委蛇，善养天年就是了。
经过了富春渚后，谢客其实没有真能如诗中所说那样达到超人的境界。甚至就在浮江之际，他恐怕也未曾真正获得心理上的平衡。诗中所言，充其量，也只是即景生想，从理念的观照中得到一种感情的宣泄，这在谢诗其他各篇中不难看到。然而就作诗时一刹那间的感触而言，他却确实达到了情景理的圆融无碍。
全诗实分三个层次，前六句纪行写景；“平生”以下的最后八句是对自身人生道路的检讨与悟参。二者之间本不相涉，但却因中间四句的四个典故而连成了一体，这四个典，尤其是前面《庄》《列》二典用得十分巧妙。舟行富春山水际，而伯昬一典为山、吕梁一典为水，联想十分自然，且同用《庄》《列》更十分工致。山，水之典甚多，不用其它，而偏用这两个，则是因它们既在形象上深切富春山水的凶险，又暗蕴所以能履险若夷的理念。这个理念在诗中是用“亮乏”、“险过”的形式反说的，更切当时诗人的实感。由反到正，则再接用《易经》中一水一山两典，从而顺理顺章地引出了以下对生活历程的检讨。诗歌用典，从诗骚起即有，建安以后更渐成风气，但是用得典雅、精严，炉锤工致，成为作诗一大法门，却不能不说自大谢始，当然由此也带来了谢诗有时稍嫌晦涩之病。得失二方面在此诗中都反映得甚典型。这又是陶、谢诗风的一大区别。
诗序说：“连州城下，俯接村墟。偶登郡楼，适有所感，遂书其事为俚歌，以俟采诗者。”此诗有感而发，且借用俚歌形式，其目的在于明确表示诗人作诗是为了讽谕朝政、匡正时阙，等待中央派官吏来采集歌谣。采诗之说起于《诗经》，兴盛于汉魏以来的乐府，是指中央乐府机构将民间诗作采集整理，一方面可以使这些优秀的民间诗作得以流传，另一方面，也可以使得统治者借以体察民情。中唐新乐府诗虽然大都有意仿效乐府民歌通俗浅显的风格，但像《插田歌》这样富于民歌天然神韵的作品也并不多见。这首诗将乐府长于叙事和对话的特点与山歌俚曲流畅清新的风格相结合，融进诗人善于谐谑的幽默感，创造出别具一格的诗歌意境。
诗中前六句可以作为一小节来看，用清淡的色彩和简洁的线条勾勒出插秧时节春光明媚，农夫农妇插秧时整个田野间一派生机盎然的景象。而且诗人在工整的构图上穿插进活泼的动态：冈头花草崭齐、燕子穿梭飞舞、田埂笔直如线、清水粼粼闪光以及穿着白麻布做的衣裙的农妇和披着绿草编的蓑衣的农夫，白裙绿衣与绿苗白水的鲜明色彩分外调和，传达出一种朴素的人文美，也展示了自然生机的美与明媚春光的和谐统一。
接下来的六句中，诗人进一步通过听觉来描写农民劳动的热闹景象。前一节的景物描写可看作是一种静态背景的铺叙，而这一节则主要刻画了人物的活动。诗人抓住农人的歌声进行细致刻画，虽然诗人远在郡楼之上，又加之农夫农妇们是以地方俚语唱和，必然使诗人无法辨清其词，却亦能欣赏其旋律，这些歌虽然是俚歌，也缠绵柔媚、如琢如磨。“怨响音”是农民们在繁重劳动和艰难生活的重压下自然流出的痛苦呻吟，但由于唱的人心境之宽，整个气象是洋溢着欢乐与舒畅的。“时时一大笑，此必相嘲嗤”十分传神，在农夫们一片整齐的哼唱中时时穿插进一阵阵嘲嗤的大笑，忧郁的情调与活跃的气氛奇妙地融合在一起，因而歌声虽然哀怨，但并无沉闷之感。歌声与笑声渲染了浓烈的气氛，传达的情感感染了作为听者的诗人。农民们毫无机心的欢乐与热情毫发毕现、洋溢笔端。
诗人没有描写劳动时间的推移过程，而仅用“水平苗漠漠”一句景物描写点明插秧已毕，使场景自然地从水田转移到村落，处理得圆融机巧，不露生硬痕迹。以水田插完后“苗漠漠”的情景直接转向墟里烟火，既表现了地点的变更，也将时间的推移显现出来，时空转换得巧妙无痕。并且诗人也将村落里富有生活气息的情景，不着痕迹地展现出来，此间并未用新奇的语句，而是套用田园诗的一贯意象与写法，令人有一种熟悉感。同时这种套用不是毫无创意的搬用，其中渗透了作者自己的观察。同时，他在对村落描写的过程中非常自然地引出了此诗的主人公——上计吏，将全诗前后两部分对比的内容天衣无缝地接合成一个完整的场面。对上计吏的形象刻画，也是始于对其衣饰的描写，乌帽长衫的打扮同农妇农夫的白裙绿衣区分开来，不但显示出上计吏与农夫身份地位的差别，而且使人联想到它好像一个小小的黑点玷污了这美好的田野，正如他的庸俗污染了田间辛勤劳动的纯朴气氛一样。上计吏自我介绍的一个“自”字、谎称自己本生于帝乡，巧妙地表现了上计吏急于自炫身份的心理，这些使他的登场成了与前半部分完全不和谐的音符。
诗歌自上计吏出场后，便以他与农人对话的方式将诗的主旨缓缓道来。汉乐府诗以对话的形式叙述情节、表达感情的比比皆是。刘禹锡借用这种古法与他反映时事、讽喻时政的写作目的相得益彰。然淳朴的农夫并未屈媚于他的特殊身份，对上计吏的应酬颇含深意，一言揭穿了他的底细。“君家侬定谙”可谓快人快语，说明农夫知道上计吏本来也是出身于附近乡村的，反驳了上计吏吹嘘自己的谎话。“一来长安道，眼大不相参”刻画了计吏自从当上小官、去过一趟长安后便自谓身份高贵、不认故人的作派。话虽是对“这一个”计吏而发，却也概括了封建社会世态炎凉的普遍现象，揭示了官贵民贱的社会关系的本质。计吏没有听出田夫话里的讽刺意味，反而“笑”着致辞，仍极力炫耀自己。这一“笑”正显出他的愚蠢。“长安真大处。省门高轲峨，侬入无度数”，活画出尚未脱掉土气的计吏鄙俗可笑的神情和虚荣浅薄的性格。然计吏的夸耀揭露出了朝廷卖官鬻爵的现象。“昨来补卫士，唯用筒竹布”是全诗讽刺的重点。既然计吏的姓名补入朝廷禁军的缺额，只须拿出些筒竹布便贿赂得来，那么官职当然也可随意买卖了，一个“唯”道出了官位的不值钱。“君看二三年，我作官人去”，这种推测既是计吏的自夸，也道出了诗人的忧虑——一个毫无见识，等同于农人的计吏凭借微薄的付出，竟然可以作朝廷官员。但让这话出自一个小小的计吏之口，则收到比诗人直接议论更强烈的效果。连计吏都觉得官价便宜，更可见出皇家卫士名额之贱，朝廷卖官鬻爵之滥，朝廷不看重能力，甚至连身份也不再看重，眼中唯有铜臭二字。全诗写到计吏得意忘形地预卜自己将会高升的前途时便戛然而止。听了这一席话农夫的反应如何，则让读者自己去想象，这就留下了无穷的余味。这一段对话全用口语，寥寥数言，朴素无华，却传神地表现出农夫与计吏这两个不同身份的人物不同的心理状态和性格特征，体现了诗人通俗活泼而又具有高度概括力的语言特色。
这首诗前面的写景、后半部分巧借对话委婉传达讽喻主旨，朴实简练，继承汉乐府缘事而发的优秀传统，未及一语表达诗人的观点，也没有评论的陈述和激动的抒情，只有白描式的叙述，但讽谏的意旨已达，痛心的感情已然力透纸背。这首诗表情达意、深入浅出、题旨深远，在诙谐嘲嗤中寄寓严肃的政治意义，以平凡真实的生活显示深刻的主题思想，从艺术结构、叙事方式、细节描写到人物对话都深得汉乐府民歌的真髓，但又表现出诗人明快简洁幽默的独特风格，因而以高度的思想艺术价值为中唐新乐府运动增添了光彩，是新乐府运动中的一株奇葩。
