这首诗作纵向展开，从过去写到现在。开头两句说过去，接着四句主要讲述到永嘉担任地方官以后的情况。中间六句具体写读书的情形。结尾四句直接说到诗人自己的政治态度与生活情趣。这首诗从大处落笔，委婉见意，通篇又具有感情深沉凝重、语调平易亲切的特点。
游京华”与“归山川”、“未尝废丘壑”与“心迹双寂寞”，隔句映衬，在文义上递进一层。这一表示递进关系的连词，更明白提示前后两个时期之间存在着的变化。诗人自述到永嘉以后，“心”不预世事，“迹”绝交以息游。
“虚馆”二句更具体描画出“心迹双寂寞”的景象。事实上，身为一郡之长，是不可能如此清闲的。《宋书》本传说：“郡有名山水，灵运素所爱好，出守既不得志，遂肆意游遨，遍历诸县，动逾旬朔，民间听讼，不复关怀。”可见“绝诤讼”并非真的没有“民间听讼”，而是由于心远地自偏，“不复关怀”，有意不闻不问罢了。以上几句，对于“斋中读书”的诗题来说，看似闲笔，实际上这是从大处落笔，委婉见意，显示的是读书时总的心态意绪与环境气氛。以下写“斋中读书”的正笔，正是从这一大背景上推出的。
从“卧疾丰暇豫”起，即转入“斋中读书”的描叙。“卧疾”就只能在“斋中”，有了许多空闲时间，为了排遣无聊，除了写诗作字以外，便轮到了“读书”。“怀抱观古今”等四句，具体写读书的情形。诗人读书的目的在于了解历史以增进对现实的认识，方法上有读有评。诗中论到的人物有消极避世的隐士长沮、桀溺和热衷仕进的文人扬雄。谢灵运对沮、溺则取批评的态度，认为隐居耕田是一“苦”事而予以非笑。扬雄在易代之际的言行，历来受人非议，如李善说他“露才以耽宠，诡情以怀禄”。谢灵运也不满于扬雄的屈节事人、钻营爵禄，故在非笑沮、溺的同时，对扬雄也采取了哂笑的否定态度。
结尾四句是在读书论书基础上的进一步发挥，由“既笑”二句引出，直接说到诗人自己的政治态度与生活情趣。“执戟亦以疲”，说明自己对于仕进已心灰意冷；“耕稼岂云乐”，又表示自己不愿过躬耕隐居的清苦生活。诗人让自己站到了三岔路口，是仕，是隐，无一理想，无可适从。故不由得叹道：“万事难并欢。”在仕隐矛盾的煎熬下，诗人为自己设计了一条慰藉心灵的人生道路：“达生幸可托。”以“达生”处世，就会避免贪多务得，不受物欲的困扰，摆脱世务的牵累，在精神上求得自我解脱，近乎陶渊明《归去来兮辞》结尾所表示的生活态度：“乐乎天命复奚疑。”
谢灵运为官时不理政事也是“达生”思想的表现，而“达生”思想的进一步实践，尚有待于绝意仕进，归隐田园，更远地离开尘世俗务。谢灵运出身大官僚地主家庭，广有田产，归隐而仍可免于沮溺的耦耕之苦，这大概是他的“达生”思想的最完美的实现了。不久，他果然踏上了归隐的道路。
全诗以“斋中读书”作为结构的中心，向前推衍，说到过去；往后演绎，谈及未来。读书是在斋中，说前道后的情事则及于斋外的广阔世界——京城的丘壑，永嘉的山川，执戟殿中，耕稼田间。仕隐矛盾的抽象主题，由于结合读书论书的具体内容提出，显得不玄不泛；又由于视野开阔，有回顾，有前瞻，联系长期以来的生活体验坦率剖白，通篇又具有了感情深沉凝重、语调平易亲切的特点。
作为一首宣扬老庄“达生”思想的记事说理诗，而能不落抽象说理的魔障，写得迥异于“平典似《道德论》”的“孙绰、许询、桓、庾诸公诗”（钟嵘《诗品序》），足见诗人艺术上的功力。至于诗中宣扬的所谓“达生”的消极避世、自得其乐的人生态度与生活理想，对于今天的读者来说，肯定是不足取的，但对于了解谢灵运全人及其创作演进的轨迹，则又有着不可忽视的重要意义。
“紫箫吹散”活用弄玉与萧史的传说，劈头就写出夫妇的离散，也暗示原先的恩爱。“燕子”“空楼”用唐代张尚书后，姬人关盼盼怀念旧爱，居张氏第中燕子楼十余年而不嫁的故事，进一步说明自己同李氏间生死不渝的爱情一“空”字，尤能令人联想到苏轼《永遇乐》词“燕子楼空，佳人何在，空锁楼中燕”的名句。紧接着连用三种象征：明月已缺，难以再圆；玉簪中断，无由再续；覆水入地，无法重收，喻说事情的无可挽回。自古视花好月圆为美满的象征，此时词人的内心世界中已是“璧月长亏”。“玉簪”句用白居易《井底引银瓶》诗：“井底引银瓶，银瓶欲上丝绳绝；石上磨玉簪，玉簪欲从中央折。瓶沉簪折知奈何，似妾今朝与君别。”诗里用“覆水”传说的如骆宾王《艳情代郭氏答卢照邻》：“情知覆水也难收”，又李白《妾薄命》：“雨落不上天，覆水难再收”。
诸作皆言弃妇事。以下接着写从书信中了解到李氏的心情。霞、雾一类辞，是唐宋诗词描写道家生活的常见语。殷勤的青鸟，捎来了李氏的信。以“碧云句”，即江淹诗“日暮碧云合，佳人殊未来”（《拟休上人怨别诗》）。她诉说幽闭在道观里的凄寂难堪。虽作了女道士，可情缘难断，缠绵悱恻之辞，正似苏蕙织的回文锦字，又好比唐代宫女的红叶题诗，饱含多少幽怨；但现实无情，已是仙凡异路了。
下片写在悠悠隔绝的痛苦中，转而追怀往日恩爱。
记得彼此初见是在谷口园林的客栈，银屏掩映，低声笑语。而此时回想起来，仿佛是场美好的梦。情景冉冉如昨，醒来却是一片新愁。词情至此，低徊无已。紧接着忽然掀起高潮。词人说，难道此生就这样永远不能看见了吗？不，他要拿分收的半镜，去寻找出高价出售的人，也许有重圆的一日。这结笔二句，仍是用前一首“鸾鉴分收”的故事。不过，前面是取其破镜之意，这里却是用其重圆之义。徐德言与乐昌公主夫妻诀别，各执半镜，约她日后以正月望日卖镜于都市，冀可相见。后来果真被他言中。（见唐孟棨《本事诗·情感》）“皇州”即京都，原是故事里卖镜的地方，活用不必拘泥。两词原是一组，前说被镜之痛，后说重圆之愿。破镜重圆之一典故的反复再见，并非雷同的运用，而标志着词中悲剧历程的起点与终点。
