这首诗语言极明白，表现的思想感情也很清楚，然而对诗人“忧”什么，时人为何不能理解他的“忧”，反认为他骄傲、反常，难以找到确切答案。同时他自称“士”，而“士”代表的身份实际并不确定，《诗经》中三十三篇有“士”字，共54个，仅毛传、郑笺就有多种解释，如：“士，事也”，指能治其事者；“士，卿士也”；“士者，男子成名之大号也”；“士者，男子之大号也”；“言士者，有德行之称”；“士，军士也”；“他士，犹他人也”等，所以这个自称“士”的诗人是何等角色，很难认定。与之相应，对此篇的主旨就有了多种臆测：《毛诗序》谓“刺时”，何楷《诗经世本古义》作实为“晋人忧献公宠二骊姬之子，将黜太子申生”；丰坊《诗说》说是“忧国而叹之”；季本《诗说解颐》以为是“贤人怀才而不得用”；牟庭《诗切》以为是“刺没入人田宅也”。今人或说“伤家室之无乐”，或说“叹息知己的难得”，或说“没落贵族忧贫畏饥”，或说“自悼身世飘零”，或说“反映了爱国思想”，不一而足。《诗经选注》说：“我们从诗本身分析，只能知道这位作者属于士阶层，他对所在的魏国不满，是因为那个社会没有人了解他，而且还指责他高傲和反覆无常，因此他在忧愤无法排遣的时候，只得长歌当哭，自慰自解。最后在无可奈何中，他表示‘聊以行国’，置一切不顾了。因此，从诗的内容和情调判断，属于怀才不遇的可能性极大。”故指此为“士大夫忧时伤己的诗”。
此诗两章复沓，前半六句只有八个字不同；后半六句则完全重复。两章首二句以所见园中桃树、枣树起兴，诗人有感于它们所结的果实尚可供人食用，味美又可饱腹，而自己却无所可用，不能把自己的“才”贡献出来，做一个有用之人。因而引起了诗人心中的郁愤不平，所以三、四句接着说“心之忧矣，我歌且谣”，他无法解脱心中忧闷，只得放声高歌，聊以自慰。《毛诗序》说：“永歌之不足，不知手之舞之，足之蹈之也。”这位正是因为歌之不足以泻忧，决定“聊以行国”，离开他生活的这个城市，到别处走一走，看一看。这只是为了排忧，还是想另谋出路，无法测知。但从诗的五六句看，他“行国”是要换一换这个不愉快的生活环境，则是可以肯定的。诗云：“不我知者，谓我士也骄（罔极）。”诗人的心态似乎是“众人皆醉我独醒”。因为他的思想，他的忧虑，特别是他的行为，国人无法理解，因此不免误解，把他有时高歌，有时行游的放浪行动，视为“骄”，视为“罔极”，即反常。诗人感到非常委屈，他为无法表白自己的心迹而无可奈何，所以七、八两句问道：“彼人是哉？子曰何其？”意思是：他们说得对吗？你说我该怎么办呢？这两句实际是自问自答，展现了他的内心无人理解的痛苦和矛盾。最后四句：“心之忧矣，其谁知之！其谁知之，盖亦勿思！”诗人本以有识之士自居，自信所思虑与所作为是正确的，因而悲伤的只是世无知己而已，故一再申说“其谁知之”，表现了他深深的孤独感。他的期望值并不高，只是要求时人“理解”罢了，然而这一丁点的希望，在当时来说也是不可能的，因此他只得以不去想来自慰自解。全诗给人以“欲说还休”的感觉，风格沉郁顿挫。
这首诗以四言为主，杂以三言、五言和六言，句法参差。押韵位置两章诗相同，前半六句韵脚在一、二、四、六句末；后半六句换韵，韵脚在七、八、十、十一、十二句末，并且十、十一两句重复，哀思绵延，确有“长歌当哭”的味道。
此诗当作于公元767年（唐代宗大历二年），当时杜甫56岁，居夔州（今重庆市奉节县）。
黄鹤注：依旧次，编在大歴二年。盖寄诗在先而题屋在后也。顾宸注：公过学士茅屋，羡其立品之高，读书之勤，故题其茅屋如此。按诗言读书以取富贵，于学士尚不相似。黄氏谓朂其子侄者得之。
仇兆鳌《杜诗详注》：学士茅居旧有藏书，上四句叙事，五六句写屋前秋景，七八句勉其子侄。下截承上。杜诗近体有两段分截之格，有两层遥顶之格。此章若移晴云、秋水二句，上接首聨；移古人、年少二句，下接末聨，分明是两截体。今用遥顶，亦变化法耳。又中间四句，平仄仄平俱不合律，葢亦古诗体也。
黄生曰：旧疑此诗不似对学士语。今考《寄柏学士诗》及《题柏大兄弟山居屋壁诗》始知其说，一则云自胡之反，持干戈，天下学士，亦奔波，叹彼幽居，载典籍，萧然暴露依山阿。一则云叔父朱门贵，郎君玉树高。山居精典籍，文雅涉风骚。是学士乃柏大之叔父。柏大之山居，即学士之茅屋，学士奔波之所载，即柏大山居之所精。二诗语意互见。此诗则合而言之，勉其子弟。而本其父兄以为劝言勤苦以取富贵尔。叔父业有前效，则年少积学之功，安可少哉。