因为是送给僧人的诗，所以诗开头便云佛事：“枿坐云游出世尘。”这是写质上人的形象。诗人抓住他的特征，刻画了他的不同凡俗。
第二句进一步写质上人的形象。瓶钵是云游和尚喝水吃饭不可少的器具。可是质上人连应该随身携带的一瓶一钵都没有。这就更突出了质上人超出尘世的性格，成了飘飘然来去无牵挂的大闲人了。
第三、四句，“逢人不说人间事，便是人间无事人。”这是从质上人的精神境界去刻画他的形象。他不说一句有关人世间的话，这才写出精神上大解脱的悟道者形象。人们口上说的，都是心上想的，不说人间事，是他心里根本不想这些事，因为他把人间的名利富贵看做是虚幻、短暂、无意义的。“所谓“世缘终浅道缘深”（苏东坡语），在这位质上人身上表现得非常彻底，他完全游离于尘世之外。
他虽曾赞羡“万般不及僧无事，共水将山过一生”（《题道林寺》）的生活，但无论怎样也不能像质上人那样口不说一句人间事。所以“逢人不说人间事，便是人间无事人”，既有对质上人的称赏和羡慕，也有诗人自己复杂心情的流露，字面上意义虽然浅近，而诗人的感慨颇深。
杜荀鹤的诗在语言上通俗浅近，明白流畅，所以他把严于格律的近体诗通俗化了。正因为这样，他的许多诗句包括《赠质上人》在内都在长期流传中成了人们口头的熟语。
勤政楼原是唐玄宗用来处理朝政、举行国家重大典礼的地方，建于公元720年（开元八年），位于长安城兴庆宫的西南角，西面题曰“花萼相辉之楼”，南面题曰“勤政务本之楼”。
公元729年（开元十七年）旧历八月五日，唐玄宗为庆贺自己的生日，在此楼批准宰相奏请，定这一天为千秋节，布告天下。并以马百匹，盛饰分左右，舞于勤政楼下，又于楼中赐宴设酺，“群臣以是日进万寿酒，王公戚里进金镜绶带，士庶以结丝承露囊更相问遗”，千秋节也就成了一年一度的佳节。然而由于玄宗晚年“勤政务本”早成空话，到安史之乱爆发，只得被迫退位，唐王朝江河日下，千秋节也随之徒有虚名了，甚至连当年作为赠送礼物的承露丝囊也见不到了。诗的第一句说佳节空在，是总论，第二句说丝囊已无，则是抓住了“承露囊”这个千秋节最有代表性的物品来进一步补衬，使得“名空在”三字具体着实了。
这首诗的后两句写诗人移情于景，感昔伤今。杜牧善于以诗论史，借古讽今。“惟有紫苔偏称意，年年因雨上金铺”。这两句采用《诗经·王风·黍离》的笔法，用宫院中的植物茂盛生长暗示王朝兴衰之意。
《诗境浅说续编》云：“开元之勤政楼，在长庆时白乐天过之，已驻马徘徊，及杜牧重游，宜益见颓废。诗言问其名则空称佳节，求其物已无复珠囊，昔年壮丽金铺，经春雨年年，已苔花绣满矣。”金铺，是大门上的一种装饰物，常常做成兽头或龙头的形状，用以衔门环。用铜或镀金做的，叫金铺，用银做的叫银铺。紫苔是苔藓的一种，长在阴暗潮湿的地方。
这两句诗从表面看，写的是景，是“勤政楼”的实景，但细细体味，就会感到这十四个字，字字都饱蘸了诗人感昔伤今的真实情感，慨叹曾经百戏杂陈的楼前，经过一个世纪的巨大变化，竟变得如此凋零破败。可以想象，当杜牧走过这个前朝遗址时，所看到的是杂草丛生，人迹稀少，重门紧闭的一片凄凉景象。
诗人不写别的，偏偏从紫苔着笔。这是因为紫苔那无拘无束，随处生长，自得其乐的样子深深地触动了他此时惨淡失意的心情。失意之心对得意之物，自然格外敏感，体味也就更加深刻了。
作者以紫苔见意，又从紫苔说开去，用紫苔的滋长反衬唐朝的衰落，小中见大，词浅意深，令人回味。说紫苔上了金铺，是一种夸张的手法。当年威严可畏的龙头兽首，而此时绿锈满身，如同长满了青苔一般，这就进一步烘托了勤政楼被人遗忘而常年冷落的凄凉衰败的景象。这里，“偏称意”三字写得传神，“偏”，说明万物凋零，独有紫苔任情滋蔓，好像是大自然的偏宠，使得紫苔竟那样称心惬意。这笔法可谓婉曲回环，写景入神了。
这首诗是诗人在极度感伤之下写成的，全诗却不着一个“悲”字。从诗的整体看，诗人主要采用明赋暗比的方法。前两句写的是此刻之衰，实际上使人缅怀的是当年之盛；后两句写的是此时紫苔之盛，实际上使人愈加感到“勤政楼”此时之衰。一衰一盛，一盛一衰，对比鲜明，文气跌宕有致，读来回味无穷。
