《庄子》《列子》二书中都记有这样两个有趣而发人深省的故事。一说，列御寇为伯昬（昏的异体字）无人射，列子技艺精湛，手平如砥，甚至能放一杯水在肘上，箭方去而未至靶，杯水又重新落到肘上。然而伯昬无人说“是射之射，非不射之射也”。于是他“登高山，履危石，临百仞之渊，背逡巡，足二分垂于外”，列子惊怖，伏地汗流至踵。伯昬无人就说：“那些与天道同一的至人，上窥青天，下潜黄泉。挥斥八极，神气不变。现在你害怕得直瞬眼睛，可见你内心未明自然之理，不够充实啊。”另一则故事说孔子观乎吕梁，悬瀑三十仞，流沫三十里，连鼋黾鱼鼈之属都不敢过，然而却有一个男子在其中戏水，孔子以为他想自杀，命弟子去岸边救他，那人却上了岸，披发而歌，游于塘下。孔子问他：“游泳有“道”没有？”那人回答：“并无所谓道。只因从小生长于水边，所以能安于水。唯因顺从水之道而无我见存在，所以下水就能不知其然而然，与水化为一体。”这两个故事，曾被历代诗人无数次地运用过，但是却很少见有人能像谢灵运《富春渚》诗这样，用得如此灵活而贴切。
别过了始宁故宅，灵运又浮舟西南行，进入桐庐富阳县境的富春江。富春江有两个特色，一是清，二是险。梁吴均《与宋元思书》曾状其景：“水皆缥碧，千丈见底；游鱼细石，直视无碍；急湍甚箭，猛浪若奔。夹岸高山，皆生寒树，负势竞上，互相轩邈，争高直指，千百成峰。”正写出了这两方面的特色。山水是自然形态的东西，而以之入诗文，则不可避免地染上作者的主观色调。既清且险的富春山水，在卓荦不羁的吴均眼中合成了自由竞荣，勃勃生气的清奇，所谓“奇山异水，天下独绝”。在游子羁旅的孟浩然笔下则是“野旷天低树，江清月近人”，一片清怨；然而在刚为险恶的政治风浪抛掷出来，恃才傲物，一肚子不合时宜的谢客眼中，则是另一番景象。
夜中，诗人渡过了富春东三十里的渔潭浦，清晨舟抵富阳城外。六七十里外的定山、赤亭山是富春名胜，但诗人并不往游，只是向峰顶那缅渺的云雾远远一望，又匆匆驶去。起四句连下“宵济”，“旦及”、“无淹薄”三字，可见富春秀色，此时对意兴索寞的诗人来说并引不起多大兴趣，而远山上那萦青际白的云雾，似乎正象征着他不绝无尽的愁绪。忽然水势突变，逆流而上，惊浪急湍撞击着去舟；而崖岸曲折，参差凹凸，更处处阻遏着行程。这景象真是惊心动魄，诗人自己也不知如何飘过了这一段险泷，不禁深自庆幸：尽管自己并没有伯昬无人那种履险若夷的定力，却竟然如吕梁男子般惊险地闯过了这难关。待得惊魂稍停，他倒是悟出了一条至理。《易·习卦》：“水洊至习坎”，《艮卦》又说“兼山，艮，君子以思，不出其位”，“艮其止，止其所止”。意思是，虽有重险悬绝，而水仍相继而至，这是因为水性已习惯了山坎的缘故。艮即止义，两山相重，正象征着止息之义，君子当因此而引起思索，行于所当行，止于所当止，不要越过了自己的本位。《易》象正揭示了刚才经历凶险一举的内在含义。如果自己真能像伯昬无人与吕梁丈夫一样，内心元气充实，与自然合一，完全忘掉物我、利害、险夷之间的差别，顺乎自然之理，使行动与之不期而合，那么虽然多历风险，也可达到履险若常的境地。推而广之，生活亦正同于行舟，也当顺应自然之理，那么对不久前经历的仕途风波正不必如此耿耿于怀，怨天尤人。自己平生之志本在幽栖养生，二纪之前只因意志薄弱而出山，从此就困顿于世俗之事。希求为入仕干禄已过久了，直至今天总算有了机会实现对友朋许下的远游轻举的诺言。想到这里，诗人感到蛰伏已久为世事蒙蔽的宿愿渐渐得到了舒展生发，顿时眼前的万事就如枯叶朽枝般零落不足道了。思念及此，诗人感到胸怀开张，心地光明，就如庄子所说的神明虚空无所怀的神人一样，忘掉了自身存在而任物推移。从此就只要如那蛰伏以存身的龙蛇，以屈而求伸的尺蠖那样与世委蛇，善养天年就是了。
经过了富春渚后，谢客其实没有真能如诗中所说那样达到超人的境界。甚至就在浮江之际，他恐怕也未曾真正获得心理上的平衡。诗中所言，充其量，也只是即景生想，从理念的观照中得到一种感情的宣泄，这在谢诗其他各篇中不难看到。然而就作诗时一刹那间的感触而言，他却确实达到了情景理的圆融无碍。
全诗实分三个层次，前六句纪行写景；“平生”以下的最后八句是对自身人生道路的检讨与悟参。二者之间本不相涉，但却因中间四句的四个典故而连成了一体，这四个典，尤其是前面《庄》《列》二典用得十分巧妙。舟行富春山水际，而伯昬一典为山、吕梁一典为水，联想十分自然，且同用《庄》《列》更十分工致。山，水之典甚多，不用其它，而偏用这两个，则是因它们既在形象上深切富春山水的凶险，又暗蕴所以能履险若夷的理念。这个理念在诗中是用“亮乏”、“险过”的形式反说的，更切当时诗人的实感。由反到正，则再接用《易经》中一水一山两典，从而顺理顺章地引出了以下对生活历程的检讨。诗歌用典，从诗骚起即有，建安以后更渐成风气，但是用得典雅、精严，炉锤工致，成为作诗一大法门，却不能不说自大谢始，当然由此也带来了谢诗有时稍嫌晦涩之病。得失二方面在此诗中都反映得甚典型。这又是陶、谢诗风的一大区别。
这首诗通过写雨映寒空，山深树幽，倚楼眺望的一幅水墨画，运用白描手法，描绘出一幅江南水墨图。
第一句写秋日“微雨”，一个“映”字，十分贴切地抓住了自然景物的特征。如果是春日微雨，它弥漫一片，有如云雾，那是不可能与天空相“映”的；而初夏烟雨，无边无际，将远处的一切都裹了起来，就更谈不上与天空相“映”了。只有在秋天，这“无点亦无声”的仿佛透明的雨丝，才具备这个特点。因此，从“雨映寒空”入手，再用“半有无”加以细致描写，就细致真切地传达了秋日微雨之神。至于在“空”前着一“寒”字，则是为了表现秋雨生寒的清冷之感，其中并不包含诗人的主观情绪。
次句写“登城”。“重楼闲上”即“闲上重楼”。这个“闲”字既表明诗人并非第一次登临此处——那样会心情迫切，不会着一“闲”字；又暗示他亦非劳人迁客——那样会侘傺无聊，不可能“闲上”。而主要的，还是点出诗人时有余暇，心自安闲，尽可慢慢欣赏这秋雨中的秋山景色。
第三句诗人纵目野望，诗人用一句诗进行了概括：“浅深山色高低树。”天高气清，列岫千重，或近或远，或苍或黛，各有“浅深”；而山上树木则颇为混茫，无可分辨，但见层层树丛，“高低”不等而已。“浅深”“高低”，写出了秋山的淡远之境。
这景色是诗人从未发现过的，他显得更加兴致勃勃。他在反复的玩味之后，终于豁然开朗：展现在眼前的这“浅深山色高低树”，正像“一片江南水墨图”。它空灵清逸，萧疏淡远，只有水墨画才有这种意境。以前他从未欣赏到的美，此刻却悠然心会，于是感到十分惬意。所以这最后一句就不止是一个精致贴切的比喻，而是饱含了极度愉悦之情。
“浅深山色高低树”和“一片江南水墨图”之间的比喻关系也很有意味。上句是实景，为了用水墨图比拟，诗人有意避开色彩，仅用“浅深”二字加以形容；下句则是虚拟的意象，虽是虚拟，却又极为细致，“水墨图”前着以“江南”二字，“山色”的清逸潇洒之致，就给读者留下了想象的余地。这样由实入虚，虚实相生，虽无细腻的景物刻画，却更能显示景物的绰约多姿，更能引发读者悠远的联想。
第一段（篇首十二句）陈述被放的遭遇，抒发救国的忠愤。李白讨逆爱国，无辜被刑，实为冤屈。只因时机乖违，怨谁难辨。此诗开头四句即言其得罪并不怨天，他以黄口小雀易为罗者所得、白龙化鱼偶为渔者所刺的典故为喻，说明自身被祸当归咎自身，这里以一“愚”字自责不明智、不识时务。其实当时永王东巡至李白获释这一过程事态之翻覆，非人所能预料。但他对安史作乱是非常痛恨的，直以“鲸鲵”“豺狼”呼之，谴责其多行不义，一“屡”字谓其作恶多端。正是因为安史之乱，使他又在肃宋朝坐累远流，“去国愁夜郎，投身窜荒谷”二句，可见其遭逐仓皇之状。但李白虽一再遭逐并不沉溺于个人的不幸之中，“悲作楚地囚，何由秦目哭！”襟怀非常广阔。他痛哭的是，身为楚地的囚徒，多么可悲，不能像申包胥为救楚国而赴秦目大哭七天七夜。他自比申包胥，愿效一片救国之忠心。
第二段（篇中从“半道雪屯蒙”到“剑玺传无穷”）叙述光复两京的经过，抒发诗人的欣喜之情。前四句承上段写他在艰难的流放途中欣闻收复两京。他举出汉代的光武中兴，意谓光武尚须东迁，如今李唐王朝大势颇好，不须迁都，理当光复长安，非光武可比，字里行间已含喜悦之感，一“欣”字为此段的基调。这二十句一气贯下，历数光复长安的事迹，先言明皇幸蜀之时，有太子（储皇）驻兵扶风，支撑局面，继承帝位，延揽群雄。郭子仪率官军与回纥军共讨叛贼，前后夹攻，几经鏖战，平息国难，收洛阳，入咸京，席卷天下，成就大功。谓“扬袂正北辰，开襟揽群雄”，“叱咤开帝业，手成天地功”，是对肃宗的溢美之辞。后言肃宗迎明皇还长安，明皇亲授传国玺与肃宗，以“两日忽再中”盛称与皇儿于乱后团聚之喜庆。“大驾”四句皆祝愿之辞。这一段，李白当时据传闻写成，考之《旧唐书》中《郭子仪传》与《肃宗纪》，事与史正相吻合。诗中不仅切实地反映了这段历史，而于对平息安史之乱的赞颂与对唐王朝复兴的祝愿之中，又表现出李白关心国事的热情。这里，李白并未为区区一己得救而自喜，却为社稷“中兴”而欢欣。
第三段（篇末八句）感叹为时所弃，并以归隐的幻想表示对现实的不满。这一段扣住诗题的第三层意思：“书怀示息秀才”。李白肯与息秀才言承恩放还的身世和光复两京之大事，剖心相告，无疑其人亦为李白的志同道合者。他所表白的心迹是极为复杂的。前二句“愧无秋毫力，谁念矍铄翁？”显然由前段对社稷“中兴”的热烈赞美陡然跌落为自伤身世的浩叹。李白已年近六旬，当此国家复兴之际，自愧不能效秋毫之力，一“愧”字便含积极用世之念。他并以矍铄翁自比。《后汉书》载：“武威将军刘尚击武陵五溪蛮夷，深入军没，援因复请行，时年六十二，帝愍其老，未许之。援自请曰：“臣尚能被甲上马。帝令试之。援据鞍顾眄，以示可用。帝笑曰：‘矍铄哉是翁也。’”（卷五四《马援传》）李白欲效马援，颇怀老骥伏枥之志，是何等勇气。一年之后，李白有作《闻李太尉大举秦兵百万，出征东南，懦夫请缨，冀申一割之用，半道病还，留别金陵崔侍御十九韵》，亦见其“烈士暮年，壮心不已”。“谁念”二字，意谓不为时所重，无由鼓力，是怨愤之言。这二句分量很重，既有济世的热望，又有失意的苦闷。“积蓄万古愤，向谁得开豁？”（《赠别从甥高五》）亦同此意。欲进不能，无可奈何，由对执政者的失望与不满，进而产生弃剑学道、避祸远游的幻想，言如鸿高飞冥冥薄天，令弋者无以取之。“弋者何所慕？高飞仰冥鸿”二句，照应篇首“以愚陷网目”之意，记取隐身网罗之教训，遁迹方篷，高飞远祸。这里不是表示退隐的决心，而是以退隐的呜咽写其慷慨进取之志，力透纸背，感人至深。关于李白的隐退，历来被人误解，《旧唐书》说他“飘然有超世之心”，这种超世说一直成为论者的话题，他的游仙好道之作向为人所重视，他的仙风道骨向为人所赞赏。但这位“诗仙”的毕生经历与全部作品却表明他积极面世的人生态度，始终一贯。他曾明白地表示：“我本不弃世，世人自弃我。”（《送蔡山人》）这两句诗正可以作为“愧无秋毫力，谁念矍铄翁”二句的注脚。
这是一首以史笔写成的政治抒情诗。诗的主旨在于表明诗人怀有坚贞的报国之志，年虽老而志未衰，并为大志未酬深感不满。他能够做到：刚遇赦得释，便议论国家政治，可见李白面向社会现实的人生态度是十分积极的。李白在晚年，由于安史之乱把他推入现实矛盾的旋涡，他投笔从戎，对平息边将的叛乱，恢复社会的安定、消除苍生的灾难，寄予极大的关注，使他的诗歌创作发生了深刻的变化。这一时期的作品，不同于安史乱前那些从个人出发的抒怀之作，而更多是从社会出发直接反映社会现实的矛盾，因而他晚年的作品具有鲜明的政治倾向和丰富的社会内容。而艺术风格也不似青壮年时期诗歌那样“壮浪纵恣”（元稹语），而表现为沉着顿宕。这首咏怀之作，恰好体现了其后期诗歌的特点与风格，无疑是其一篇代表之作。
李白晚年这类诗歌可以与杜甫同期作品媲美。惜乎长期以来论者与史家未予应有的重视，人们主观地以为：杜甫的主要活动时期为安史之乱后，而李白的主要活动时期为安史之乱前。因而李白与杜甫虽同经历过安史之乱，于杜甫为其中年，故以为重要：于李白为其晚年，则不予重视。这种重中年轻晚年的意识，掩没了李白晚年不朽诗篇的光辉。李白晚年的坎坷身世与光辉诗篇当与杜甫等同视之。