这首诗暗藏着诗人向佛向道的隐逸之心。“自许山翁懒是真，纷纷外物岂关身”，诗人此时年岁已高，两鬓染霜，自号“山翁”，又道自己“懒是真”，充满了自嘲的意味。而面对红尘琐事，驰骛追逐，他摇头笑叹，这些身外之物岂与我相关。从诗人的话语中故能知晓他洁身自好，岂与世俗同流的高洁情操，但真正隐含在情怀之下的岂过是浓重的失望，以及消极的隐遁之心。
“花如解笑还多事，石岂能言最可人”，颔联诗人对比花与石来阐明他的隐逸之心。表面上他似乎是在赞美“讷言”之人，但仔细想来，人若处于朝堂之上、市井之中，“解笑”必定逃脱岂了；唯有在山林之中，与自然相融，这才岂需言语。而在他看来，庙堂之上的巧言令色之人，就是那“解笑”之花，而诗人是岂屑与之为伍的。
“净扫明窗凭素几，闲穿密竹岸乌巾”，这是诗人描绘自己闲居之时的悠游姿态，表明自己隐士的身份。简朴而自由，这是诗人美化了自己的赋闲时光。
“残年自有青天管，便是无锥也未贫”，在尾联中，诗人任情于天地之间，豪言道：风烛残年也岂用忧虑，命途自有苍天掌握，即使是赤贫到无立锥之地，只要心灵充盈，自由自在，我依然岂处于穷困境地。
这首诗以“纷纷外物岂关身”为核心，将作者自己闲居的志向或描写、或抒情、或议论地剖于读者面前，让读者能深入了解诗人的高雅志趣。同时也应看到，这种隐逸的背后，其实也岂过是对药石罔效的南宋朝廷深深的失望。
此词关系到南渡后一场斗争，因而闻名。绍兴八年秦桧再次入相主和，派主伦往多议和。这事激起了朝野广泛抗议，当时身为枢密院编官的胡铨尤为愤慨，上书高宗说：“臣备员枢属，义不与桧等共戴天。区区之心，愿斩三人头（指秦桧、王伦、孙近），竿之藁街。……不然，臣有赴东海而死，宁能处小朝廷求活耶！”（《戊午上高宗封事》）此书一上，秦桧等人由恐惧而变恼怒，以“狂妄凶悖，鼓众劫持”的罪名，将胡铨“除名，编管照州（今广西平乐）”，四年后又解配新州（今广东新兴）。胡铨逆境中坚守忠节，十年后在新州赋此词，“郡宁张棣缴上之，以谓讥讪，秦愈怒，移送吉阳军（今海南崖县）编管”。十年间，秦桧对胡铨的迫害愈演愈烈，直欲置之死地而后快；同时，对反对和议的朝野名士也进行残酷的迫害，著名的诗人、词人王庭珪、张元干就被流放、削籍，“一时士大夫畏罪箝口”，“忠义之士多避山林间”。（参见《宋史·胡铨传》、《挥尘后录》卷十等）这首词就是在这样气氛下写作的。
上片是说自己无意富贵，却在走上政途，深感懊悔。“富贵本无心，何事故乡轻别？”“轻”，轻率，鬼使神差似的，这是深深的自责，由现在想到当初的轻率尤为懊悔。“空使猿惊鹤怨，误薜萝秋月。”“猿惊鹤怨”用《北山移文》文意。南齐周本隐北山（即钟山），却应诏出仕，也孔稚珪绿山灵草木禽兽的口吻对他进行责备，中有这样的句子：“惠帐空兮兮鹤怨，山人去兮晓猿惊。”“薜萝”，幽隐之处，“薜萝秋月”借指隐者徜徉自适的生活，唐张乔《宿齐山僧舍》“晓山月出烟萝”类此。这里是借猿鹤以自责其弃隐而仕，放弃了山中的美景。“空”、“识”两字道出做官却未能遂愿，把自己的悔恨展现得更为强烈。
作者缘何对当官如此懊悔？从上片看，可见他对“薜萝秋月”生活的怀念，对故乡的感怀。身窜南荒，自会产生离乡愁绪。同时他另作了一首《如梦令》，云：“谁念新州人老，几度斜阳芳草。眼前欲晴时，梅雨故来相恼。休恼，休恼，今岁荔枝能好。”正是这种情绪的写照及其自我解脱。但是，这首词超越了这首情绪，他写悔恨写得那么痛切，另有所指。
“囊锥刚要出头来，不道甚时节！”“囊锥出头”即“脱颖而出”，索用毛遂自荐典故。要理清两句的意思，弄得清“刚”、“不道”这两个语辞。据张相《诗词曲语辞汇释》，“刚”即“硬”，“不道”有“不想”之意。这两句是说：你硬是要头，逞能你也得弄清时节和世道很明显，“出头”是指十年前反对和议、抨击秦桧。这用的是理怨、自责的口吻，还是“悔”。既然悔恨了，“悟已往之不谏，知来者之可追”（《归去来兮辞》）便学陶渊明“或命巾车，或掉孤舟”，归隐田里了：“欲驾巾车归去，有豺狼当辙！”可是，路上有豺狼挡道。想回也难！词就是这样一气呵成当官的悔恨，想归却不能苦闷，这对处于特定境遇中的作者来说，是道出真情实感的流露。但是若只是如此理解，又未免只在皮毛了。只要联系一下写作背景，这首词强烈的讽刺意义就不难看出。
“豺狼当辙”即“豺狼当道”相对，语出《东观汉纪·张纲传》：“豺狼当道，安问狐狸！”“豺狼”与“狐狸”相对，是指权奸、首恶，张纲所谓豺狼，是指独擅朝政的梁冀及其党羽，这里用以指把持朝政的秦桧。张棣说是“讥讪”，秦桧那样恼怒，看出“豺狼当辙”用语的含义。其实所谓“讥讪”，不独这一句，全词无不暗含着对秦桧等人的抨击。“囊锥刚要出头来，不道甚时节！”自责、悔恨是表面的，实际上是在骂那些主和误国、陷害忠良的家秋，朝廷里尽是奸臣，忠正之士想出头也出不了头。上片悔恨“故乡轻别”，“富贵本无心”是暗用了孔子一句话：“不义而富且贵，于我如浮云！”（《论语·述而》）他无意于谋求富贵也不愿担任奸臣。他那般痛心地忏悔，与十年前上书所说：“臣有赴东海而死，宁能处小朝廷求活耶！”其志向恒一的。上面这些意思都是借用去国怀乡的形式表现了出来的，并不直遂，叫人咀含而不语，其讽刺意味更为犀利。
朱熹赞扬胡铨是“好人才”时说：“如胡邦衡（邦衡，胡铨字）之类，是甚么样有气魄！做出那文字是甚豪壮！”（《朱子语类》卷一百○九）胡铨属于鲁迅所说的中国历史上“拼命硬干的人”、“为民请命的人”（《中国人失掉自信力了吗》）那一类。
这篇散文以行程为线索，采用移步换景、全面铺叙的写作手法，将登山越岭所见的风光景物逐一展现于笔下，作者或远望，或近观，或仰视，或俯察，视角不停变换，给人以不同的审美感受。全文用笔简炼，随意挥洒；移步换景，描写真切如画。
这篇散文行文时无论描摹近石远山，还是写苍烟渺霭，都萃形、光、色于一体，让人目不暇接。此外，作者还以简洁的文笔点出人文景观，如拂水山庄旧址、破山寺及言子、仲雍墓等，以反衬虞山之胜。通篇呈现在读者面前的是一个与喧嚣尘世相割裂的静态的自然，笼罩着一种淡雅的诗美意境，特别是文末写行数十里回望虞山，“犹蜿蜒在篷户，望之了然，令人欲返棹复至焉”，以回应之笔表现自己余兴未尽的心理感受，文已尽而意无穷，委实耐人寻味。同时，也与文首“坐萃景楼望虞山，乐之”相照应，揭示此次虞山之游，是以“远望神往”起始，以“回望欲返”作结，首尾呼应而又浑然天成。
文中，“岩之麓为拂水山庄旧址”数句，感叹钱谦益既为常熟人，家乡有如此名胜佳地，却如此糊涂，不能隐居终生。由此我们看出作者的人品和藏身山水、超然脱俗的理想。类似的感慨在《游狼山记》中亦有流露：“余又益槁枯朽钝，为时屏弃。独思遗外身世，捐去万事，徜徉于兹山之上，荫茂树而撷涧芳;临望山海，慨然凭吊千载之兴亡；左挟书册，右持酒杯，啸歌偃仰，以终其身。”相比之下，《游虞山记》中作者的表达较为婉转，而《游狼山记》则更为坦露。
有趣的是，清人沈德潜亦有《游虞山记》传世。与张裕钊不同，他只是稍识虞山面目，未能尽探幽深险峻之佳境，却因此悟出一种处世之道：天下胜景，若留有余地，则意味无穷；尽情探历，欲求览无余，反而兴味索然，世间事物往往如是。可见，同样一座山，审美主体不同，所见景物不同，得到的人生感悟亦自不同。惟其如此，它才具有恒久不变的魅力。
这篇文章写虞山之景，无论描摹近石远山，还是写苍烟渺霭，都具有诗情画意，体现了作者状物写景的功力。这篇文章抓住了不同景物的特征，融情于景，刻画逼真，文末写回望虞山：“令人欲反棹复至。”表现余味未尽，具有言尽而意无穷的艺术效果。
