这首诗作纵向展开，从过去写到现在。开头两句说过去，接着四句主要讲述到永嘉担任地方官以后的情况。中间六句具体写读书的情形。结尾四句直接说到诗人自己的政治态度与生活情趣。这首诗从大处落笔，委婉见意，通篇又具有感情深沉凝重、语调平易亲切的特点。
游京华”与“归山川”、“未尝废丘壑”与“心迹双寂寞”，隔句映衬，在文义上递进一层。这一表示递进关系的连词，更明白提示前后两个时期之间存在着的变化。诗人自述到永嘉以后，“心”不预世事，“迹”绝交以息游。
“虚馆”二句更具体描画出“心迹双寂寞”的景象。事实上，身为一郡之长，是不可能如此清闲的。《宋书》本传说：“郡有名山水，灵运素所爱好，出守既不得志，遂肆意游遨，遍历诸县，动逾旬朔，民间听讼，不复关怀。”可见“绝诤讼”并非真的没有“民间听讼”，而是由于心远地自偏，“不复关怀”，有意不闻不问罢了。以上几句，对于“斋中读书”的诗题来说，看似闲笔，实际上这是从大处落笔，委婉见意，显示的是读书时总的心态意绪与环境气氛。以下写“斋中读书”的正笔，正是从这一大背景上推出的。
从“卧疾丰暇豫”起，即转入“斋中读书”的描叙。“卧疾”就只能在“斋中”，有了许多空闲时间，为了排遣无聊，除了写诗作字以外，便轮到了“读书”。“怀抱观古今”等四句，具体写读书的情形。诗人读书的目的在于了解历史以增进对现实的认识，方法上有读有评。诗中论到的人物有消极避世的隐士长沮、桀溺和热衷仕进的文人扬雄。谢灵运对沮、溺则取批评的态度，认为隐居耕田是一“苦”事而予以非笑。扬雄在易代之际的言行，历来受人非议，如李善说他“露才以耽宠，诡情以怀禄”。谢灵运也不满于扬雄的屈节事人、钻营爵禄，故在非笑沮、溺的同时，对扬雄也采取了哂笑的否定态度。
结尾四句是在读书论书基础上的进一步发挥，由“既笑”二句引出，直接说到诗人自己的政治态度与生活情趣。“执戟亦以疲”，说明自己对于仕进已心灰意冷；“耕稼岂云乐”，又表示自己不愿过躬耕隐居的清苦生活。诗人让自己站到了三岔路口，是仕，是隐，无一理想，无可适从。故不由得叹道：“万事难并欢。”在仕隐矛盾的煎熬下，诗人为自己设计了一条慰藉心灵的人生道路：“达生幸可托。”以“达生”处世，就会避免贪多务得，不受物欲的困扰，摆脱世务的牵累，在精神上求得自我解脱，近乎陶渊明《归去来兮辞》结尾所表示的生活态度：“乐乎天命复奚疑。”
谢灵运为官时不理政事也是“达生”思想的表现，而“达生”思想的进一步实践，尚有待于绝意仕进，归隐田园，更远地离开尘世俗务。谢灵运出身大官僚地主家庭，广有田产，归隐而仍可免于沮溺的耦耕之苦，这大概是他的“达生”思想的最完美的实现了。不久，他果然踏上了归隐的道路。
全诗以“斋中读书”作为结构的中心，向前推衍，说到过去；往后演绎，谈及未来。读书是在斋中，说前道后的情事则及于斋外的广阔世界——京城的丘壑，永嘉的山川，执戟殿中，耕稼田间。仕隐矛盾的抽象主题，由于结合读书论书的具体内容提出，显得不玄不泛；又由于视野开阔，有回顾，有前瞻，联系长期以来的生活体验坦率剖白，通篇又具有了感情深沉凝重、语调平易亲切的特点。
作为一首宣扬老庄“达生”思想的记事说理诗，而能不落抽象说理的魔障，写得迥异于“平典似《道德论》”的“孙绰、许询、桓、庾诸公诗”（钟嵘《诗品序》），足见诗人艺术上的功力。至于诗中宣扬的所谓“达生”的消极避世、自得其乐的人生态度与生活理想，对于今天的读者来说，肯定是不足取的，但对于了解谢灵运全人及其创作演进的轨迹，则又有着不可忽视的重要意义。
书信援引史实，把周公和孔子相互比较，由此说明只有同道知己才能相乐的道理。苏轼又以孔子与其弟子来比拟欧、梅与自己的关系，热烈地推崇他们，充分地表达了士遇知己的快乐以及自己内心高远的抱负。整封信围绕着知己相乐的论点，层层铺展，文章谈古论今，前后呼应，表达了作者对欧、梅的敬仰之情。
这篇文章作者没有直接倾诉胸臆，却是凌空而起，开头叹惜周公之不遇，接着引述孔子师徒厄于陈蔡而弦歌不绝，相得甚欢之事，而后以“乃今知”领起下文，兼收上两层文意，感慨周公虽富贵而有管蔡之流言、召公之疑虑，不如孔子虽贫贱而得天下贤才，其乐无穷。这段文字，劣周公，优孔子，以周公来反衬孔子，出人意外，立意警奇，乍看似乎无关题意，实际上立足点高而自处亦高，是暗以孔子比欧梅，以孔门弟子自况，说明富贵不足重，而师徒以道相乐才是人间最高的乐趣，一扫通常干谒文字浮夸阿谀的风气，表达出作者不同凡俗的高尚情怀和人生追求。而且先以孔子师徒相乐立案，是为了给全文树立主脑，以交游贤才、遭遇知己之乐笼盖全文，提领整篇，使文章具有一种居高临下的气势。文章这样构思，完全打破了书信的常格，是颇有艺术独创性的。
“轼七八岁时，始知读书”以下开始折入正题，直叙蒙受识拔、遭遇知己之乐。自述年少时即闻欧梅之令名，稍壮又能读其文想象其人，且设想两公能“脱去世俗之乐而自乐其乐”，这既显出仰慕之情由来已久，又对欧梅之乐虚点一笔。接着写来京逾年无缘一见，而会试礼部意外地受到识拔，荣幸地获得奖许，十年仰慕无由见，一朝相逢成知己，得意快慰之情可想而知。这一层叙述被识拔的经过，娓娓而谈，感情真挚，文势跌宕，笔墨淋漓。“退而思之”以下，自然地转入议论，表示人之一生既不能够以不光明的手段获取富贵，也不应该庸庸碌碌地甘居贫贱，有大贤人在此而能做他的弟子，也就足以有靠托而值得引为自豪了。这既反映出自己一举中第的内心快慰，又抒写出遭遇欧梅知遇的喜悦之情，同时又回应了上文周公富贵而有烦恼和孔子贫贱而足乐，进一步表明了自己的荣辱观，反映出作者高尚的志趣和磊落的襟怀，且再用侥幸荣获富贵、车骑雍容、市民围观的世俗之乐来作一反衬，愈加突出了东坡自乐其乐的精诚和真趣。
“《传》曰”以下引述经典，并结合对方的声誉、风采和文章，写梅公虽官非显通却自处坦然，从而颂扬梅公必有乐乎超凡拔俗的明达之道，最后收结到以聆听对方的教诲为请。这既表明二人的志趣完全投合，将彼此的高情雅怀融会为一，意气极为空灵飘洒，同时又承应上文，含蓄委婉地表达出请求谒见的心情，口吻亦十分得体。
综观全文，通篇以“乐”字为纲，用“乐”字呼应。由孔子师徒的相知之乐，写到欧梅的“自乐其乐”，转到自身受知遇之乐，拍合到梅氏必“乐乎斯道”，下笔处处不离“乐”字。作者写乐，一扫中第释褐脱离布衣地位便踌躇满志的浅薄识见，摆脱了乐富贵、忧贫贱的庸俗世风，而升华到超越外物的高雅精神境界，专从遭遇知已、师友以道相乐的角度立论，使文情超拔卓异，洒脱不俗，既表现了对梅尧臣的仰慕推尊，又蕴涵着个人的高自期许，真是高怀雅论，足以大破俗肠。作者写来文势开拓而荡漾，为赞孔子贫贱之乐，先悲周公富贵之不遇，为写欧梅知遇之隆，先叙无缘进谒之久，起伏跌宕，舒卷自然，且语言飘洒而爽畅，文笔摇曳而生姿。
上片写初秋的黄昏，苏轼在碧纱帐里一觉醒来，枕边微凉的秋风也吹不尽浓浓的睡意，于是继续躺在凉席之上，听外面公堂一片寂静，他知道这意味着今晚不用上堂处理公事了。这是一个清闲的黄昏。“一枕清风”是苏轼比较喜欢用的一个词组和意象，诗里多次用到。它把晚风吹拂下那种清爽而又舒畅的困意表达得淋漓尽致。“睡听”二字表现出苏轼起床的慵懒和悠闲，也说明他早就料到今天“无一事”的状况了。这里实是反用古人之意，古人常用“晚衙”来叹息公务繁忙，而苏轼却道“睡听”“无一事”，一种超脱的感觉就上来了，于是他徐徐起身，半躺半靠着看起了床头的书卷。这里一个“尽”字，再次把这种悠闲无止境放大，拉长。
下片开始议论，“归欤”二字直接点明了议论的主题，也就是他心中追求功名与早日归隐二者之间的矛盾。“自觉”句表面上是一种自嘲，说自己对功名日渐疏懒，但实际上却是一种窃喜，窃喜自己终于能够看破功名，心无挂碍了。正是由于这种无挂碍的心态，当别人问及“使君”的才学时，苏轼才能通达、释然而略带自嘲地说自己是“占得人间一味愚”。言外之意，在他看来，是否有才学并不重要，但自己到现在才看破功名，这才是真的“一味愚”。整个下片议论，表面上看都是自嘲，在贬低自己，实际却是在表达一种摆脱尘世功名束缚的愿望，同时也是在庆幸自己已经慢慢摆脱了这些束缚。