诗人以短短四句写出淮岸硖石古寺那样一片天地，同时表现了诗人的情感活动，面对眼前的山寺，虽身未能至而心向往之。
船停泊在淮河岸边的硖石山下，山上坐落着一所古寺。山并不高，但从河底的船中仰视，寺里的古塔却给人“半倚天”之感。硖石一带环境幽静，加上古寺高踞山巅，遂使诗人觉得寺中的老僧，佛性圆足，超脱尘境。舟行是寂寞的，此时舟泊硖石，诗人想到方外老僧，起了探胜造访的念头，他是在舟中纵目眺望，然后登上了河岸，但发现松径边寺庙的栅栏是锁着的，寂无人迹。于是希望变成了怅望，古寺在诗人的心理上愈去愈远了。然而就在这怅望之际传来了暮钟的声音，一声声进入画船。那佛国世界本已遥远难即，此时却放出钟声来到人间，这种声音，发人深省，令人神往。
这四句诗，在地理位置的处理下，先由下而上，又由上而下，境界开朗；在景物与感官的搭配上，又有动有静，有视觉又有听觉的感受，从而使读者细密地品味出作者当时的心情。唐张继《枫桥夜泊》有“姑苏城外寒山寺，夜半钟声到客船”句，写红尘扰乱中的寺庙钟声；这首诗写人烟稀少处的寺庙钟声，各自意境不同，都写得很美。
诗在空间位置的处理上，首句是向上仰观古塔，末句是钟声下及画船。自下而上，复又自上而下，硖石古寺在心理上高远超脱的印象，即不待刻画已自然形成。在景物的搭配上，既有动，又有静，既有山巅古寺，又有水滨画船。于互相映衬中突出了硖石寺的静穆，而不显得枯寂。末句由写视觉感受，转到写钟声，更添出无限诗意。那钟声在船头，在水上，荡漾传送，终于消失，但在诗人心灵深处却悠然不尽，久久牵动着他的情思。诗似收而未收，富有余味。
首联写的是他卜居山林的日常生活状态。有客人的时候就兴高采烈，欢喜无已；无人来访之时，没有人可以与之派遣寂寞、交流思想心得，就只能与落花对话，寂寞之情油然而生。仅仅依据这首诗的行文风格，从诗面上来分析，“有客”是衬“无人”的，而写“开青眼”的短暂喜悦，正是为了更好地表现“问落花”的孤独。
实际上，在李贽的独居过程中，“有客”确是极少数，更多的时候是寂寞一人。当然这里的“客”并非指任何来访者，而是与李贽志同道合、思想统一的人，只有这样的人在李贽看来才能称之为“客”，否则他是闭门不见的。在《高洁说》中，李贽对这一点有很明确的解释： “谓予自至黄安，终日锁门，而使方丹山有好个四方求友之讥；自住龙湖，虽不锁门，然至门而不得见，或见而不接礼者，纵有一二加礼之人，亦不久即厌弃。是世俗之论我如此也。殊不知我终日闭门，终日有欲见胜己之心也；终年独坐，终年有不见知己之恨也。”其实不着手于此，仅仅从诗面“有客开青眼”，亦可略见一斑。一个“开”字写出了蓦然惊喜的心情，同时表明了更多的时候他是像阮籍那样，“见礼俗之士，以白眼对之”的。
“无人问落花”一句中，“落花”是古典诗词里的常见意象，落花暮春，象征着美好事物的消逝和时光无可挽回的流淌。沈周因伤其子之逝，赋《落花诗》十首；林黛玉有葬花之哀；王维细数落花，心有所感而独坐良久，皆有此意。究竟李贽有没有“问落花”类似的举动，其实不必坐实，作者只是借这样一个常见意象来借代自己独处时的寂寞心情，或亦有叹老之感。这样，首联就为全诗营造了一种伤感落寞的气氛。
颔联一句，前为春，后为秋；前为白天，后为夜晚，是通过四季转换、昼夜交替来表现终年独坐的状态。这两句没有用常见的艺术手法，通过主观感觉把自然景致极端化，从正面或反面表现内心的情感。而是用很轻柔的笔触，描绘了山间淡雅平静的氛围。如果把“凉月照晴沙”试写成“凉月照寒沙”，其透骨冰凉，就完全是另一种意境了。你看微醺如酒的春风拂弄着细细的草叶，皎洁的月光映照着广阔的沙滩。这种生活很容易让我们想起王维的“独坐幽篁里，弹琴复长啸。夜深人不知，明月来相照”的雅趣。然而李贽是向往激烈快意的生活、要高举大旗，领导社会风气变革的时代先驱，这种山林野逸之乐，是难以使他心情平静的，只是越发使他觉得寂寞。
“客久翻疑梦”，客居在外久了，使得他反而有了一种不真实的错觉，像是梦境里一样飘忽不定，梦醒时又能回到家中安稳度日的时光。一般诗词文赋中的“家”都指故乡，即在父母身边从小长大的故居。而李贽不到二十岁就外出宦游，其后更是一生辗转迁徙、漂泊无依，没有所谓的“家”，故此处的“家”更应该的乡居故里。虽然李贽“平生不爱属人管”，少年居家读书的经历亦未必尽其所愿，但人在漂泊不定、受尽艰辛时有倦鸟归巢之感，是很正常的心理。“朋来不忆家”，只有朋友来的时候，高谈阔论，一抒心臆，才能暂时放下思乡的愁怀。但是正如第一句所分析的，朋友散落在天涯，要来访一次，实在是太难了。所以更多的时候，李贽还是独自在乡愁的煎熬中寂寞着。这一句的对比手法，其实和首联有异曲同工之妙。然而反衬之句，一个在前面，一个在后面，是文章变换法。这里点明了的“朋”，即首联的“客”。变换字法，亦是使文势跳脱之意。
尾联一句写的是：一天又在这样的疏懒遐思中过去了，准备收拾琴和书回去了，不经意回头，看见天边绚丽的晚霞，竟然不觉陶醉其中。然而晚霞虽美，却无人分享，只有自己独看，是否有寂寥之感呢？答案应该是肯定的。这两句写得极妙，琴以娱情，书以励志，古人携琴带萧是很普遍的风尚，尤其是明代以后。在早期山水画里，常常能看到高士拾阶而上，童子负剑后随的形象，而渐渐就演变成童子携琴了。这说明士人的社会习惯已经从李白“十五好剑术，三十成文章”的追求转变为我们现在所熟悉的“琴棋书画”的雅趣了。一天已经告终，诗句就顺势收尾，恰到好处，夕阳的冉冉落下还给人意犹未尽的回味余地，不知作者如何想来。
全诗表现了李贽晚年“独在异乡为异客”的寂寥之感，回想其坎坷的一生，顿生“人情冷暖，世态炎凉”之慨叹，是其晚年真切感情的流露。
《庄子》《列子》二书中都记有这样两个有趣而发人深省的故事。一说，列御寇为伯昬（昏的异体字）无人射，列子技艺精湛，手平如砥，甚至能放一杯水在肘上，箭方去而未至靶，杯水又重新落到肘上。然而伯昬无人说“是射之射，非不射之射也”。于是他“登高山，履危石，临百仞之渊，背逡巡，足二分垂于外”，列子惊怖，伏地汗流至踵。伯昬无人就说：“那些与天道同一的至人，上窥青天，下潜黄泉。挥斥八极，神气不变。现在你害怕得直瞬眼睛，可见你内心未明自然之理，不够充实啊。”另一则故事说孔子观乎吕梁，悬瀑三十仞，流沫三十里，连鼋黾鱼鼈之属都不敢过，然而却有一个男子在其中戏水，孔子以为他想自杀，命弟子去岸边救他，那人却上了岸，披发而歌，游于塘下。孔子问他：“游泳有“道”没有？”那人回答：“并无所谓道。只因从小生长于水边，所以能安于水。唯因顺从水之道而无我见存在，所以下水就能不知其然而然，与水化为一体。”这两个故事，曾被历代诗人无数次地运用过，但是却很少见有人能像谢灵运《富春渚》诗这样，用得如此灵活而贴切。
别过了始宁故宅，灵运又浮舟西南行，进入桐庐富阳县境的富春江。富春江有两个特色，一是清，二是险。梁吴均《与宋元思书》曾状其景：“水皆缥碧，千丈见底；游鱼细石，直视无碍；急湍甚箭，猛浪若奔。夹岸高山，皆生寒树，负势竞上，互相轩邈，争高直指，千百成峰。”正写出了这两方面的特色。山水是自然形态的东西，而以之入诗文，则不可避免地染上作者的主观色调。既清且险的富春山水，在卓荦不羁的吴均眼中合成了自由竞荣，勃勃生气的清奇，所谓“奇山异水，天下独绝”。在游子羁旅的孟浩然笔下则是“野旷天低树，江清月近人”，一片清怨；然而在刚为险恶的政治风浪抛掷出来，恃才傲物，一肚子不合时宜的谢客眼中，则是另一番景象。
夜中，诗人渡过了富春东三十里的渔潭浦，清晨舟抵富阳城外。六七十里外的定山、赤亭山是富春名胜，但诗人并不往游，只是向峰顶那缅渺的云雾远远一望，又匆匆驶去。起四句连下“宵济”，“旦及”、“无淹薄”三字，可见富春秀色，此时对意兴索寞的诗人来说并引不起多大兴趣，而远山上那萦青际白的云雾，似乎正象征着他不绝无尽的愁绪。忽然水势突变，逆流而上，惊浪急湍撞击着去舟；而崖岸曲折，参差凹凸，更处处阻遏着行程。这景象真是惊心动魄，诗人自己也不知如何飘过了这一段险泷，不禁深自庆幸：尽管自己并没有伯昬无人那种履险若夷的定力，却竟然如吕梁男子般惊险地闯过了这难关。待得惊魂稍停，他倒是悟出了一条至理。《易·习卦》：“水洊至习坎”，《艮卦》又说“兼山，艮，君子以思，不出其位”，“艮其止，止其所止”。意思是，虽有重险悬绝，而水仍相继而至，这是因为水性已习惯了山坎的缘故。艮即止义，两山相重，正象征着止息之义，君子当因此而引起思索，行于所当行，止于所当止，不要越过了自己的本位。《易》象正揭示了刚才经历凶险一举的内在含义。如果自己真能像伯昬无人与吕梁丈夫一样，内心元气充实，与自然合一，完全忘掉物我、利害、险夷之间的差别，顺乎自然之理，使行动与之不期而合，那么虽然多历风险，也可达到履险若常的境地。推而广之，生活亦正同于行舟，也当顺应自然之理，那么对不久前经历的仕途风波正不必如此耿耿于怀，怨天尤人。自己平生之志本在幽栖养生，二纪之前只因意志薄弱而出山，从此就困顿于世俗之事。希求为入仕干禄已过久了，直至今天总算有了机会实现对友朋许下的远游轻举的诺言。想到这里，诗人感到蛰伏已久为世事蒙蔽的宿愿渐渐得到了舒展生发，顿时眼前的万事就如枯叶朽枝般零落不足道了。思念及此，诗人感到胸怀开张，心地光明，就如庄子所说的神明虚空无所怀的神人一样，忘掉了自身存在而任物推移。从此就只要如那蛰伏以存身的龙蛇，以屈而求伸的尺蠖那样与世委蛇，善养天年就是了。
经过了富春渚后，谢客其实没有真能如诗中所说那样达到超人的境界。甚至就在浮江之际，他恐怕也未曾真正获得心理上的平衡。诗中所言，充其量，也只是即景生想，从理念的观照中得到一种感情的宣泄，这在谢诗其他各篇中不难看到。然而就作诗时一刹那间的感触而言，他却确实达到了情景理的圆融无碍。
全诗实分三个层次，前六句纪行写景；“平生”以下的最后八句是对自身人生道路的检讨与悟参。二者之间本不相涉，但却因中间四句的四个典故而连成了一体，这四个典，尤其是前面《庄》《列》二典用得十分巧妙。舟行富春山水际，而伯昬一典为山、吕梁一典为水，联想十分自然，且同用《庄》《列》更十分工致。山，水之典甚多，不用其它，而偏用这两个，则是因它们既在形象上深切富春山水的凶险，又暗蕴所以能履险若夷的理念。这个理念在诗中是用“亮乏”、“险过”的形式反说的，更切当时诗人的实感。由反到正，则再接用《易经》中一水一山两典，从而顺理顺章地引出了以下对生活历程的检讨。诗歌用典，从诗骚起即有，建安以后更渐成风气，但是用得典雅、精严，炉锤工致，成为作诗一大法门，却不能不说自大谢始，当然由此也带来了谢诗有时稍嫌晦涩之病。得失二方面在此诗中都反映得甚典型。这又是陶、谢诗风的一大区别。