唐宣宗大中初年，诗人由山西太原幕府掌书记，被贬为龙阳尉。自江北来江南，行于洞庭湖畔，触景生情，追慕先贤，感伤身世，而写下了《楚江怀古》五律三章，这是第一首。
这一首诗虽题“怀古”，却泛咏洞庭景致。诗人履楚江而临晚秋，时值晚唐，不免“发思古之幽情”，感伤自身不遇。首联先点明薄暮时分；颔联上句承接“暮”字，下句才点出人来，颈联就山水两方面写夜景，“夹”字犹见凝练；尾联才写出“怀古”的主旨，为后两首开题，而以悲愁作结。
全诗风格清丽婉约，感情细腻低徊。李元洛评曰：“在艺术上清超而不质实，深微而不粗放，词华淡远而不艳抹浓妆，含蓄蕴籍而不直露奔迸。”
“黄金屋”指代荣华富贵的生活，“颜如玉”指代美貌的女子。
“书中自有黄金屋，书中自有颜如玉”概括了过去许多读书人读书的目的和追求。其实列举这两者只是一种借代的说法，它们是一朝金榜题名出人头地后最具代表性的收获，这里也就代指出人头地。古代许多读书人读书的目的求的就是一个出人头地。所以人们也就常用这句话鼓励别人或子女读书。
字里行间给我们的启示是读书考取功名是当时人生的一条绝佳出路。用现代理念去解释，读书就是接受教育，教育是社会的一个功能，让学生掌握知识学能，以投身社会，服务人群。
因为是送给僧人的诗，所以诗开头便云佛事：“枿坐云游出世尘。”这是写质上人的形象。诗人抓住他的特征，刻画了他的不同凡俗。
第二句进一步写质上人的形象。瓶钵是云游和尚喝水吃饭不可少的器具。可是质上人连应该随身携带的一瓶一钵都没有。这就更突出了质上人超出尘世的性格，成了飘飘然来去无牵挂的大闲人了。
第三、四句，“逢人不说人间事，便是人间无事人。”这是从质上人的精神境界去刻画他的形象。他不说一句有关人世间的话，这才写出精神上大解脱的悟道者形象。人们口上说的，都是心上想的，不说人间事，是他心里根本不想这些事，因为他把人间的名利富贵看做是虚幻、短暂、无意义的。“所谓“世缘终浅道缘深”（苏东坡语），在这位质上人身上表现得非常彻底，他完全游离于尘世之外。
他虽曾赞羡“万般不及僧无事，共水将山过一生”（《题道林寺》）的生活，但无论怎样也不能像质上人那样口不说一句人间事。所以“逢人不说人间事，便是人间无事人”，既有对质上人的称赏和羡慕，也有诗人自己复杂心情的流露，字面上意义虽然浅近，而诗人的感慨颇深。
杜荀鹤的诗在语言上通俗浅近，明白流畅，所以他把严于格律的近体诗通俗化了。正因为这样，他的许多诗句包括《赠质上人》在内都在长期流传中成了人们口头的熟语。