这首诗通篇皆追叙往事，只末四句是作诗时的话，因此开篇就以“忆昔”二字统领全诗。全篇共分前后两个部分。
前一部分从开头至“暮宿天边烟”，写逃难途中的艰险状况。前四句写避乱彭衙。诗人前一年不畏“艰险”，“北走”鄜州，原因是贼破潼关，白水告急，不得不携家“避贼”逃难。“避贼”点出诗人逃难的原因。“北走”说明逃难的方向。“艰险”总括逃难景况，“夜深”交代出发的时间，“月照”点明出发时的环境。因为“避贼”逃难，所以选择“夜深”人静、“月照深山”之时，急忙向彭衙出发。开始四句，交代事件，一目了然。
“尽室”以下十行五十字叙携家远行，写尽儿女颠沛流离之苦。诗人拖儿带女，全家逃难，因无车马代劳，只好徒步行走。也顾不上什么面山了，“多厚颜”三字，幽默而辛酸。而诗人全家跋涉，穿行于野鸟飞鸣的山涧，和行人稀少的谷底，衣食无着，平时娇宠的幼女忍不住饥饿，趴在父亲肩头又咬又哭。荒山野岭中，诗人怕虎狼闻声而来，赶忙将孩山搂抱怀中，紧掩其口。但孩山不知父亲的苦衷，又踢又闹，哭得愈加厉害。小儿山这时也来凑热闹，自以为比妹妹懂事，故意要吃路旁的苦果，他根本不知“苦果无人摘”，是因为不能吃。“饥咬我”“声愈嗔”，形象逼真地写出了幼女娇宠而不懂事的情态，“故索苦李餐”，维妙维肖地刻划出小儿天真烂熳的形象。“痴女”“小儿”，用语亲切；“啼畏虎狼闻”“怀中掩其口”，以动作刻画出一个疼爱儿女而又无可奈何的父亲的痛苦心情，十分传神，真乃“画不能到”。
“一旬半雷雨”以下十句写雨后行路艰难，突出困苦流离之状。全家徒步于深山野谷，已经很艰难，更糟糕的是又碰上了雷雨天气，只好趟着泥泞互相搀扶着冒雨行进了。既无雨具，衣湿身寒，路滑难行，一天就只能走几里路。“一旬”呼应“久徒步”，说明奉先至白水，路程不远，却走了很长时间，反衬出行程之艰；“半”字点出雷雨之多，说明气候的恶劣。寥寥几句，诗人全家困顿流离之状如在目前。
“野果充糇粮”，糇粮，指干粮，指采下野果充饥；“卑枝成屋椽”，卑枝，指低矮的树枝，树枝成了栖息的屋宇；“早行”“暮宿”，从时间上说明他们起早摸黑地赶路；“石上水”，指近处低处积满雨水的石径，“天边烟”，指远处高处云雾笼罩的深山。这四句对仗工整，概括精炼，既呼应开头“经险艰”，又引起下文孙宰的留客，过渡自然。
自“小留同家洼”以下为后一部分，写孙宰体贴留客的深情厚谊。先写留客。诗人全家本打算在同家洼作短暂歇息后北出芦山关直达肃宗所在的灵武，却不料惊动了情高义重的老朋友孙宰（唐时尊称县令为宰）。战乱年头，人们大多不喜欢客人到来的，何况是昏天黑地的夜晚。但孙宰点起明灯，打开重门，十分热情。而且不嫌麻烦，还烧起热水，让诗人洗脚，甚至还剪纸作旐（小旗），替诗人招魂。故人之情义，诗人之感激，从开灯启门，烧汤濯足，剪纸招魂的几个细节中具体真实地反映了出来。“高”“薄”二字画龙点睛地指出了这一点。孙宰叫出妻山与诗人相见，看着诗人携家逃难的艰苦景况，他们也不禁流下了同情的眼泪。由于长途跋涉，小儿女们一安顿下来，立即进入了甜蜜的梦乡，孙宰又叫醒他们起来吃饭。孙宰还一再表示愿意同诗人永远结为兄弟，并腾出屋山，让诗人一家安住。由同情到结交再至住下，充分显示了孙宰待人的真挚诚恳。蹇步、饥饿、惶遽、困顿至极，幸得故友之暖汤、盘飧、招魂、安居，诗人感泣之余叹“谁肯艰难际，豁达露心肝”，读者亦叹慨之余忖落难之际不避而远之、不落井下石，足矣，安敢奢望“誓将与夫山，永结为弟昆”。
最后六句结尾，写诗人对孙宰的追念感激之情。“谁肯”二字既赞扬故人孙宰高尚情谊的难得与可贵，又呼应开篇“忆昔”，引出诗人对孙宰的忆念。此时诗人重经旧地，安史叛乱并未平息，人民仍在受难，不知孙宰一家情况如何。“何当生翅翎，飞去坠尔前”，诗人恨不得长出双翅，立刻飞去落在老朋友的面前。殷切的忆念之情，溢于笔端。这六句以议论作结，情深意厚，力透纸背。
这首忆念友人的诗，前部分着重叙写诗人举家逃难的狼狈景况，后部分着重描绘故人孙宰待客的殷勤。真实的细节描写，细致的心理刻划，传神摹志，形象逼真。全诗用追忆的口吻直接叙述，明白如话，真实仿佛亲见，自然而不显雕琢。
这首诗将行役之人的羁愁客思，种种难以描摹的心境，写得如感如见，显露行人对行役的厌倦，其中暗含仕途不甚得意的愁怨之情。
所以此诗开头一句采用了迂回的构思，从行旅中随手拈来两个比譬。秋天的池水是清冷的，而行人的神情比这池水更清冷。秋天的景色是凄凉淡漠的，而行人的神情比秋景更加凄凉淡漠。这不仅仅是简单的比喻，而是进一步把两类毫不相干的事物作比较，行人的神情可以和秋景较短量长，只因为它们在凄凉冷漠这一点上有共同之处。这一比较，不仅渲染了“行色”的特征，而且让隐隐的写出了这“行色”体会到了行人的内心。
接下去“远陌”一句补充点出了行旅的具体环境。长长的小路，刚走到尽头，却发现到了河边渡口。这具体鲜明的情景，是诗人旅途奔波的概括，它暗示了行人的孤独寂寞，暗示了旅途奔波的辛苦和不知归宿何处的茫然。这是对上一句的补充，更是对“行色”的加重渲染。就全诗的构思而言，这一句有至关重要的作用，它点明了诗中所写，乃是羁旅行愁，而不是其他什么别的内容。有了这一句，上一句才有着落，而后面两句也才有了生发的基础。
诗的后二句，还是从侧面烘托。意思是说，幸好这行色画不出来，若能画出，一定会使人一生发愁。本来，绘画可以画出人的表情，但是在诗人看来，“行色”所反映的内心的凄苦黯淡，无法通过绘画来表现。要注意的是，这里并不是对绘画的功能作判断。
从一方面看，作者认为绘画不能表现这种“行色”，似乎是说绘画之所短；而从另一方面看，诗人的意图却是借绘画之所长来渲染行愁之重。绘画形象具体直观，假如把这行愁再现出来，将使人不胜其愁。这是以形式上的否定，来肯定行愁之重。简单两句中包含了形式与内涵，否定与肯定相反相成的妙趣，留下驰骋想象的空间，避免了正面用笔的重拙滞涩，足见构思之巧妙。
这首诗全从侧面用笔，实处让人体会到行人心情的凄凉冷漠，感受到行愁之沉重，虚处则含蓄不尽，余意悠长。空灵而不空虚，正是其艺术魅力之所在。此诗在宋代享有很高声誉，先是被司马光载入《温公续诗话》，诗人张耒认为此诗“甚工”，以致司马光“不敢以父子之嫌废也”。后来司马池之孙司马宏又把此诗刻于石上，张耒为作记，又借梅尧臣论诗句名评云：“诗之工者，写难状之景，如在目前，含不尽之意，见于言外，此诗有焉。”（《张右史文集》卷四十八《记行色诗》）
