诗一开始写登临览景，勾起古今联想，造成一种笼罩全篇的气氛：六朝的繁华已成陈迹，放眼望去，只见草色连空，那天淡云闲的景象，倒是自古至今，未发生什么变化。这种感慨固然由登临引起，但联系诗人的经历看，还有更深刻的内在因素。诗人此次来宣州已经是第二回了。八年前，沈传师任宣歙观察使（治宣州）的时候，他曾在沈的幕下供职。这两次的变化，如他自己所说：“我初到此未三十，头脑钐利筋骨轻。”“重游鬓白事皆改，唯见东流春水平。”（《自宣州赴官入京路逢裴坦判官归宣州因题赠》）这自然要加深他那种人世变易之感。这种心情渗透在三、四两句的景色描写中：敬亭山象一面巨大的翠色屏风，展开在宣城的近旁，飞鸟来去出没都在山色的掩映之中。宛溪两岸，百姓临河夹居，人歌人哭，掺合着水声，随着岁月一起流逝。这两句似乎是写眼前景象，写“今”，但同时又和“古”相沟通。飞鸟在山色里出没，固然是向来如此，而人歌人哭，也并非某一片刻的景象。“歌哭”言喜庆丧吊，代表了人由生到死的过程。“人歌人哭水声中”，宛溪两岸的人们就是这样世世代代聚居在水边。这些都不是诗人一时所见，而是平时积下的印象，在登览时被触发了。
接下去两句，展现了时间上并不连续却又每每使人难忘的景象：一是深秋时节的密雨，像给上千户人家挂上了层层的雨帘；一是落日时分，夕阳掩映着的楼台，在晚风中送出悠扬的笛声。两种景象：一阴一晴；一朦胧，一明丽。在现实中是难以同时出现的。但当诗人面对着开元寺水阁下这片天地时，这种虽非同时，然而却是属于同一地方获得的印象，汇集复合起来了，从而融合成一个对宣城、对宛溪的综合而长久性的印象。这片天地，在时间的长河里，就是长期保持着这副面貌吧。这样，与“六朝文物草连空”相映照，那种文物不见、风景依旧的感慨，自然就愈来愈强烈了。客观世界是持久的，歌哭相迭的一代代人生却是有限的。这使诗人沉吟和低回不已，于是，诗人的心头浮动着对范蠡的怀念，无由相会，只见五湖方向，一片参差烟树而已。五湖指太湖及与其相属的四个小湖，因而也可视作太湖的别名。从方位上看，它们是在宣城之东。春秋时范蠡曾辅助越王勾践打败吴王夫差，功成之后，为了避免越王的猜忌，乘扁舟归隐于五湖。他徜徉在大自然的山水中，为后人所艳羡。诗中把宣城风物，描绘得很美，很值得流连，而又慨叹六朝文物已成过眼云烟，大有无法让人生永驻的感慨。这样，游于五湖享受着山水风物之美的范蠡，自然就成了诗人怀恋的对象了。
诗人的情绪并不高，但把客观风物写得很美，并在其中织入“鸟去鸟来山色里”、“落日楼台一笛风”这样一些明丽的景象，诗的节奏和语调轻快流走，给人爽利的感觉。明朗、健爽的因素与低回惆怅交互作用，在这首诗里体现出了杜牧诗歌的所谓拗峭的特色。
起首一句气势不凡，笔力沉重，着一“又”字，言东风无情，实则人有情，烘衬出内心的愁怨之深，此意直贯全篇。第二句的“艳粉娇红吹满地”，正面描写落花，“粉”是“艳”，“红”是“娇”，不仅描绘了花的色彩，而且写出了花的艳丽娇冶如人。着力写花的美，也就更反衬出“吹满地”的景象之惨，满目繁华，转瞬即逝，使人触目惊心。“吹”字暗接“东风”，进一步写东风的无情。上片歇拍两句，上句词意深厚，楼台高远，帘影层深，是怕见春残花落触动愁肠，虽然较之近观增加了几分隐约朦胧，但花飞花谢仍然依稀可见，“不遮愁”三字十分生动、传神。
景既不能遮断，愁自然油然而生。下句语浅而情深，红稀绿暗的春残景色“还似”去年一样，“还似”二字，回应首句“又”字，申说花飞花谢的景象、春残春去的愁情，不是今年才有，而是年年如此，情意倍加深厚，语气愈益沉痛。
过片表面上自责“错管”，实际上写有情，花落春去，人力无法挽回，惜春怜花，只能是徒然多事而已。当初不能通晓此理，每逢登临游春都为花落泪，现看来都属多余的感情浪费。表面上看似怨悔，实是感伤。结拍“两句，化用崔敏童的”能向花前几回醉，十千沽酒莫辞频“（《宴城东庄》），转写今日此时，表面上自解自慰，说伤春惜花费泪无益，不如痛饮美酒，恣赏落花，语极旷达，实际上却极为沉痛，较之惋惜更深一层。群花飞谢，还没有委埋泥土、坠随流水之前，”吹满地“的”艳粉娇红“还可供人怜惜，然而这种景象转瞬间即将消逝无踪，又能够看到几次？更又能看得几时！”临轩一盏悲春酒，明日池塘是绿阴“（韩偓《惜花》），”直须深“的连连呼唤中，蕴藏着无计留春、悲情难抑的痛苦，但这种感情却故以问语相诘，就显得十分宛转。此二句明朗显豁，曳顿挫，有一唱三叹之妙。
这首诗将行役之人的羁愁客思，种种难以描摹的心境，写得如感如见，显露行人对行役的厌倦，其中暗含仕途不甚得意的愁怨之情。
所以此诗开头一句采用了迂回的构思，从行旅中随手拈来两个比譬。秋天的池水是清冷的，而行人的神情比这池水更清冷。秋天的景色是凄凉淡漠的，而行人的神情比秋景更加凄凉淡漠。这不仅仅是简单的比喻，而是进一步把两类毫不相干的事物作比较，行人的神情可以和秋景较短量长，只因为它们在凄凉冷漠这一点上有共同之处。这一比较，不仅渲染了“行色”的特征，而且让隐隐的写出了这“行色”体会到了行人的内心。
接下去“远陌”一句补充点出了行旅的具体环境。长长的小路，刚走到尽头，却发现到了河边渡口。这具体鲜明的情景，是诗人旅途奔波的概括，它暗示了行人的孤独寂寞，暗示了旅途奔波的辛苦和不知归宿何处的茫然。这是对上一句的补充，更是对“行色”的加重渲染。就全诗的构思而言，这一句有至关重要的作用，它点明了诗中所写，乃是羁旅行愁，而不是其他什么别的内容。有了这一句，上一句才有着落，而后面两句也才有了生发的基础。
诗的后二句，还是从侧面烘托。意思是说，幸好这行色画不出来，若能画出，一定会使人一生发愁。本来，绘画可以画出人的表情，但是在诗人看来，“行色”所反映的内心的凄苦黯淡，无法通过绘画来表现。要注意的是，这里并不是对绘画的功能作判断。
从一方面看，作者认为绘画不能表现这种“行色”，似乎是说绘画之所短；而从另一方面看，诗人的意图却是借绘画之所长来渲染行愁之重。绘画形象具体直观，假如把这行愁再现出来，将使人不胜其愁。这是以形式上的否定，来肯定行愁之重。简单两句中包含了形式与内涵，否定与肯定相反相成的妙趣，留下驰骋想象的空间，避免了正面用笔的重拙滞涩，足见构思之巧妙。
这首诗全从侧面用笔，实处让人体会到行人心情的凄凉冷漠，感受到行愁之沉重，虚处则含蓄不尽，余意悠长。空灵而不空虚，正是其艺术魅力之所在。此诗在宋代享有很高声誉，先是被司马光载入《温公续诗话》，诗人张耒认为此诗“甚工”，以致司马光“不敢以父子之嫌废也”。后来司马池之孙司马宏又把此诗刻于石上，张耒为作记，又借梅尧臣论诗句名评云：“诗之工者，写难状之景，如在目前，含不尽之意，见于言外，此诗有焉。”（《张右史文集》卷四十八《记行色诗》）