这首诗主要借作者与孤儿的问答，描写孤儿受后母虐待的悲惨遭遇，揭露了封建宗法制度下后母折磨孤儿的家庭矛盾，表现了作者对这一社会问题的关心，和对于受害者的无限同情。
全诗富有乐府民歌风味，语言质朴，运用对话和白描手法，所写故事情节贴切逼真，行文质朴，生动感人。
该诗是一首叙事诗。共可分为四个部分。
开头四句为第一部分，诗人用第一人称作为旁观者的身份出现，这也是乐府诗的常用手法，以示事件的真实性。诗人驾车出了城郭北门，马突然沉滞而不肯快跑。马的反常，已暗示出环境的异样。但诗人还未察觉，他下车犹豫了一阵，等候了一阵，见马总是不动就仰头折下一根枯杨的树枝，想鞭马前进。这四句是个引子，交代了事情发生的地点，同时也提起了一个悬念。
“顾闻”四句为第二部分，引出事件。四句意谓只听得小丘林子里，传来一阵阵悲哭之声，诗人问啼者：为什么哭得如此伤心。这是事件的开端，写得很有层次，先闻哭声，再见其人，未知原因，故发疑问。完全按照客观现实情景写出。正是由于诗人的关切问讯，才引出下面孤儿诉说原委。
从“亲母舍我殁”到“穷厄岂有赀”十四句为第三部分，这一部分都是孤儿所说的话，也是全诗的主要内容，写得如泣如诉，真情毕露，舒缓而有致，质直而可信。这一部分共分为二层意思。前八句为第一层，是孤儿诉说后母虐待的情景。这几句话，是字字血、声声泪。后六句是第二层，写孤儿哭坟情状。孤儿上坟去探看生母的冢墓，目的是为了倾诉心中的悲愤和痛苦，孤儿在活的人中无处哀告，只能求告于死去的母亲，这本身就是无限伤心的事。而活着的孤儿毕竟和死去的母亲永远分离了，生身的母亲，既然见不到满腹委屈也就无法申诉所以孤儿热泪纷纷，只能大声哭喊嘶哑了嗓子。生母将孤儿丢弃在人世间忍受穷困煎熬，没有留下财产可供孤儿度日，孤儿不能独立生活，又摆脱不了后母的欺凌和虐待。这六句诗，一层深一层地展示了孤儿的悲惨遭遇和凄苦欲绝的心态——孤儿已在生与死的十字路口徘徊，如果不能继续忍受虐待，就只有追随生身母亲于地下。
最后两句是第四部分，是全诗的尾声。诗人又以第一人称出来说话，规劝后代人以此为教训，不要虐待孤儿。这在今天看来似乎近于画蛇添足，但在汉魏乐府中却是一种习惯写法，以此点明诗人写作宗旨。这种形式，对后来的乐府诗特别是中唐时代的新乐府有明显的影响。
这首诗将行役之人的羁愁客思，种种难以描摹的心境，写得如感如见，显露行人对行役的厌倦，其中暗含仕途不甚得意的愁怨之情。
所以此诗开头一句采用了迂回的构思，从行旅中随手拈来两个比譬。秋天的池水是清冷的，而行人的神情比这池水更清冷。秋天的景色是凄凉淡漠的，而行人的神情比秋景更加凄凉淡漠。这不仅仅是简单的比喻，而是进一步把两类毫不相干的事物作比较，行人的神情可以和秋景较短量长，只因为它们在凄凉冷漠这一点上有共同之处。这一比较，不仅渲染了“行色”的特征，而且让隐隐的写出了这“行色”体会到了行人的内心。
接下去“远陌”一句补充点出了行旅的具体环境。长长的小路，刚走到尽头，却发现到了河边渡口。这具体鲜明的情景，是诗人旅途奔波的概括，它暗示了行人的孤独寂寞，暗示了旅途奔波的辛苦和不知归宿何处的茫然。这是对上一句的补充，更是对“行色”的加重渲染。就全诗的构思而言，这一句有至关重要的作用，它点明了诗中所写，乃是羁旅行愁，而不是其他什么别的内容。有了这一句，上一句才有着落，而后面两句也才有了生发的基础。
诗的后二句，还是从侧面烘托。意思是说，幸好这行色画不出来，若能画出，一定会使人一生发愁。本来，绘画可以画出人的表情，但是在诗人看来，“行色”所反映的内心的凄苦黯淡，无法通过绘画来表现。要注意的是，这里并不是对绘画的功能作判断。
从一方面看，作者认为绘画不能表现这种“行色”，似乎是说绘画之所短；而从另一方面看，诗人的意图却是借绘画之所长来渲染行愁之重。绘画形象具体直观，假如把这行愁再现出来，将使人不胜其愁。这是以形式上的否定，来肯定行愁之重。简单两句中包含了形式与内涵，否定与肯定相反相成的妙趣，留下驰骋想象的空间，避免了正面用笔的重拙滞涩，足见构思之巧妙。
这首诗全从侧面用笔，实处让人体会到行人心情的凄凉冷漠，感受到行愁之沉重，虚处则含蓄不尽，余意悠长。空灵而不空虚，正是其艺术魅力之所在。此诗在宋代享有很高声誉，先是被司马光载入《温公续诗话》，诗人张耒认为此诗“甚工”，以致司马光“不敢以父子之嫌废也”。后来司马池之孙司马宏又把此诗刻于石上，张耒为作记，又借梅尧臣论诗句名评云：“诗之工者，写难状之景，如在目前，含不尽之意，见于言外，此诗有焉。”（《张右史文集》卷四十八《记行色诗》）
一至四句紧扣“山行”而展开：写彭州界山脉连亘起伏，群峰如聚，层峦叠翠，勾画出西南山景雄奇秀丽之特点，诗人茕茕独行，一路山川美景美不胜收，驰荡着诗人的心魄。峭壁峻岩，峥嵘森布，其上苍松翠柏，盘根错节，如山鬼魑魈，张牙舞爪；千峰攒聚，万壑深幽，山岚轻袅，风烟恬淡。天空中飞鸟百啭千回放着歌喉，其声若仙乐，嘹亮清越，响遏行云，唱破了山林的幽寂，也唱醉了诗人。原始物态的狰狞粗朴、幽森浑莽，又和谐浑圆、劲美清丽的绝胜风光，直使人心旷神怡，宠辱皆忘，诗人不禁驻足停马，留连赏玩，赞叹不绝。
五至八句则是在前面整体描绘之基础上，攫取两幅近景写“山行”之难：怪石嶙峋，壁立于旁，偶有突兀之角伸出路旁。轻萝蔓生，缠绕于山岩峭壁间，还时不时撩人衣裳。诗笔生动如在目前。但因面临“年老”“路长”之困难又不免顿生悲愁。然诗人“思归”之愁瞬间即逝，代之以对“岩峦”胜境之欣赏。故虽与“意绪”有违，又有何值得嗟叹。自勉之意甚浓。但因“山行”未尽，愁绪终难完全排除，思乡情愁也难以遏止。
九至十二句写忧事萦怀，心绪怏怏，但置于一边，且去饱览山川锦绣，绝胜烟景，何必郁郁寡欢，使山川之玲珑秀色无人赏玩。山行逶迤，长路漫漫，无限芳菲争相逞妍供媚，吟赏不尽，无人能怀清赏之雅兴，忘机之真心，与我同游共赏，言无人共“玩芳菲”，话虽委婉，而失意甚明。
全诗以白描手法描摹了入蜀途中的见闻，继而抒发跋涉旅途之上的羁旅之思与怀乡之情，写景远近结合，声色交错，抒情多所转折起伏，以凸显诗人内心情感之曲折变化，表现了诗人独自赶路时寂寞凄凉的游子心境。
