这首诗将行役之人的羁愁客思，种种难以描摹的心境，写得如感如见，显露行人对行役的厌倦，其中暗含仕途不甚得意的愁怨之情。
所以此诗开头一句采用了迂回的构思，从行旅中随手拈来两个比譬。秋天的池水是清冷的，而行人的神情比这池水更清冷。秋天的景色是凄凉淡漠的，而行人的神情比秋景更加凄凉淡漠。这不仅仅是简单的比喻，而是进一步把两类毫不相干的事物作比较，行人的神情可以和秋景较短量长，只因为它们在凄凉冷漠这一点上有共同之处。这一比较，不仅渲染了“行色”的特征，而且让隐隐的写出了这“行色”体会到了行人的内心。
接下去“远陌”一句补充点出了行旅的具体环境。长长的小路，刚走到尽头，却发现到了河边渡口。这具体鲜明的情景，是诗人旅途奔波的概括，它暗示了行人的孤独寂寞，暗示了旅途奔波的辛苦和不知归宿何处的茫然。这是对上一句的补充，更是对“行色”的加重渲染。就全诗的构思而言，这一句有至关重要的作用，它点明了诗中所写，乃是羁旅行愁，而不是其他什么别的内容。有了这一句，上一句才有着落，而后面两句也才有了生发的基础。
诗的后二句，还是从侧面烘托。意思是说，幸好这行色画不出来，若能画出，一定会使人一生发愁。本来，绘画可以画出人的表情，但是在诗人看来，“行色”所反映的内心的凄苦黯淡，无法通过绘画来表现。要注意的是，这里并不是对绘画的功能作判断。
从一方面看，作者认为绘画不能表现这种“行色”，似乎是说绘画之所短；而从另一方面看，诗人的意图却是借绘画之所长来渲染行愁之重。绘画形象具体直观，假如把这行愁再现出来，将使人不胜其愁。这是以形式上的否定，来肯定行愁之重。简单两句中包含了形式与内涵，否定与肯定相反相成的妙趣，留下驰骋想象的空间，避免了正面用笔的重拙滞涩，足见构思之巧妙。
这首诗全从侧面用笔，实处让人体会到行人心情的凄凉冷漠，感受到行愁之沉重，虚处则含蓄不尽，余意悠长。空灵而不空虚，正是其艺术魅力之所在。此诗在宋代享有很高声誉，先是被司马光载入《温公续诗话》，诗人张耒认为此诗“甚工”，以致司马光“不敢以父子之嫌废也”。后来司马池之孙司马宏又把此诗刻于石上，张耒为作记，又借梅尧臣论诗句名评云：“诗之工者，写难状之景，如在目前，含不尽之意，见于言外，此诗有焉。”（《张右史文集》卷四十八《记行色诗》）
此诗是一首七言短篇歌行体诗歌，写由江陵长江中流回头西望三峡的情景。每二句一韵，凡四转韵，每韵一意。
第一韵写长江三峡峰峦之多。长江三峡“山之多不知其几千里，不知其几千万峰，山之高且大如是”（范成大《吴船录》），船在万峰中朝漂夕浮，好像永远走不到尽头，在此绵延不断的崇山峻岭中，真是“不信人间有平地”。此联是作者出三峡的回思，用跌宕转折之笔，写在横亘千里奇峰陡崖中行舟的感受――峡里山多与山高。
第二韵写由江陵长江中流西望不见峡山。诗人受辛弃疾邀游楚国别宫——渚宫，由渚宫沿江西望，江水汹涌奔流如罗带，碧绿湍急的江水一望无际，水天相接一色，江面辽阔广漠，“却疑平地元无山”，真是过了夷陵（今宜昌西北）“回首西望，则渺然不复一点；惟苍烟落，云平无际，有登高怀远之叹已。”此联是诗人从江陵平坦之地回头遥望，江天一片空旷，略无高处，故作此江长水大“水连天”及“却疑平地元无山”疑辞，表现峡外的平旷景象，真是“送尽奇峰双眼豁，江天空阔看夷陵。”（清人张问陶《出峡泊宜昌府》）
第三韵写对峡里山、峡外水变换情况的感想，由写景转入抒情。诗人从桂林经湖南至荆州，然后沿秭归、巴东、巫峡、万州一线入川，而今又从“千峰万峰巴峡里”来到“水连天”的江陵，南北往返，颠沛流离多年，经历了许多山山水水，这山水相迎相送，回想起来，这世事仕途真如转头即灭的梦幻一样。此联是自然山水拟人“送迎”现象触发诗人对世事仕途的感慨，其内涵意味深长。
第四韵写诗人长途艰难、盼速归。山水相迎送，世事如浮云、梦幻，这万里归程才行过三千，在这三千里山川旅程中已做过几回梦，不知到苏州西南的太湖之滨，再经几次梦境才会到达。此联写诗人在经历山川变换、宦海浮沉后，已悟出世事仕途如过眼云烟、如梦幻虚无缥缈的道理，并表露出他思念石湖，急盼归家的心情。
此首七言古诗，转折轻妙如行云流水，内涵深蕴，真是神韵兼备的佳作之一。