这篇记从批评世人以己之所好而骄人、笑人的陋习，层层演进，引出对张希元爱好书法却怀才不遇寄予同情，并相信他会以自己的才能在仕途上发挥经世济民的作用，表现了苏轼积极用世的人生观。此文不循常理，不守成规，将一篇普通的记述散文写得纵横开阖，出人意表。
这篇文章一共分为三段，第一段一上来就阔发议论。紧紧围绕着一个“笑”字延伸开来，描述了世人的种种偏见与短识。琴棋书画爱好者们嘲笑那些喜好声色的平庸之辈，但他们又被喜好文章的人嘲笑；而喜好功名的人对好文者同样不以为然，认为他们的文章不过是些酸腐“空言”而已；而这些追求功名的人们，即使能够像刘、项、汤、武一样掌管天下，但是他们竟依然无法避免他人的嘲笑。因为在大隐士许由和大圣人孔子看来，这些功名不过过眼云烟，不值一提。最后以“世之相笑，岂有既乎”为结，说明世间人们的相互嘲笑从来未曾停止。苏轼对这些嘲笑统统给予了否定。
第二段紧承第一段对收藏者的痴情、痴态、痴行进行了进一步的延展和刻画。他们为书画“弃躯忘亲”，心无旁骛，专心致志；他们为书画“椎心呕血”，连生命都可放弃；他们为书画“剖冢斫棺”，可谓不择手段，用尽心思。但是作者苏轼理解他们，说人世间人们所看重的声色享乐都不足以吸引他们，转移他们的志趣。他们在书画中所得到的精神享受是连他们自己都无以言表的，其他人就更加无法理解他们了。作者强调，不理解并不能成为嘲笑他们的理由，更不能成为否定他们的根据。他总结说：“人特以己之不好，笑人之好，则过矣。”这不仅批评了那些嘲笑琴棋书画爱好者的人们，更将所有的同类嘲笑给予了归纳否定，依然用“笑”字串连，与上文呼应，文气贯通一气。
从“毗陵人”到“属余为记”为第三段的开端，介绍作记的缘起。这里应该详细地记述、描绘张希元如何爱好书画典籍，珍藏了什么，规模是怎么样的。但是作者仅寥寥数笔，便戛然而止。张希元“家世好书”，其风可追；“所蓄古今人之遗迹至多”，多善可陈；“尽刻诸石，筑室而藏之”，精神之嘉，可予彰表。苏轼以“蜀人”“蜀言”为转接承续，引出对人生道路设计、从业选择的看法。谚语“学书者纸费，学医者人费”的意思是：学习书法绘画的人，要耗费大量的纸张；学医术会因医术未精而伤害他人。谚语虽非名人名言，但是因为其在民间口头传播，有很大影响力。文末，苏轼特别郑重地谆谆告诫张希元：“君知政之费人也甚于医，则愿以余之所言者为鉴。”苏轼对张希元是否希望从政文章并没有明确道出，只是提出了期望和警示——从政非同藏书等个人爱好，关乎芸芸众生的生死祸福，因而需要如履薄冰、小心翼翼。
表面上看，苏轼对行业、职业的评价不甚明确，观点有些含糊，但这恰恰是对张君明确的提醒，是苏轼的高明之处。因为从政好坏因人而异，关键是个人能否把握掌控问题。提出原则，而不给具体结论，其实是最好的答案。
以“记”的本色而论，本应该写人、写堂，而此篇文章表面看从头到尾全是议论声；但是细品之下，却是无一字不是写人、写堂，无一字不是记其所应记。文章借对世人嘲笑的议论，记述了建堂所遇到的压力、阻挠和困难；借对堂主苦恼劝解的议论，记述了堂主为收藏付出的种种代价、牺牲和精神压力。可谓是句句写堂，句句写人。
吴激是出使金朝、被留异国的南方诗人。从柳暗花明的江南，来此风雪纷扬的北庭，无疑如进入一个陌生世界那样令人震愕；何况又是远离故土，屈仕于敌国之翰林院，便更有一种“故国不堪回首月明中”的悲凉。然而，诗人毕竟不能按抑对故国故乡的思念。“年去年来还似梦，江南江北若为情”——那身在异国的生涯，对吴激来说，实在是被纷纭如烟的故土之梦牵萦环绕着的。
所以当他猛一见到友人家画有故国潇湘山水的图画时，又惊喜而呼，如醉如痴了。“江南春水碧如酒”，画面上大笔抹染的，是一派绿意盎然的南国之春，幽幽的湘江，浩浩荡荡地从画面深处奔来。它是碧澄的，多情的，带着春来的脉脉欣喜和摇漾不尽的波光笑影，浮横在诗人眼前。昊激自己也擅长书画，也许因此对色彩、光影更其敏感。此句正是抓住春来江水“碧”如蓝的特点，又出人意外地用浓醇的“酒”色作比，便赋予了画中的潇湘春水以格外迷人的魅力。
画面之美还远不止于此。碧绿的清江上，远远近近，更有悠悠的船影点染其间。有的顺流而“来”，有的溯波而“往”，在这江山如画的南国行旅，完全不像在关外的春日还得踏冰披雪；那远行在潇湘之同的“客子”，正是最乐于以船为家的。“客子往来船是家”句，正这样在诗人眼际，展开了一幅画笔也描摹不出的关妙动境；它因此也可以从相对的角度，读作为凝神观画的诗人情不自禁的兴叹——当《潇湘图》上的船恍然间移动起来，诗人也同回到了往日的岁月，重又领略着春江赏景的客行之趣，而激荡起这种认船为“家刀的亲切、温馨之情。
正如诗人在北庭所常常做过的梦境一样，他此刻置身在友人家的画幅前，竞也怀疑起眼中所见的究竟是画、还是“梦”了。那画面上的潇湘山水，明明是在万里故国的江南；那船行于青山绿水间的景像，更决非能在这风沙满天的塞外一遇。也许是因为这《潇湘图》，画得实在太过传神；也许是因为那故国的山水，睽违得实在太久。所以令诗入猛一见到这丹青绘染之境，也不免有一种梦中神游般的惊喜了。“忽见画图疑是梦”所表现的，就是诗人在见画如见故国山水中，如幻如梦、热泪涌注的动情一幕。诗人无疑希望，这馨的梦境，能再持续得长久些。
然而它竟没再持续：随着结句“而今鞍马老风沙”的闪现，这令诗人欷歔动情的梦境，就很快惊散，破碎成再难续的翩翩碎影了。作为一位兼替书画的诗人，吴激完全了解精妙的绘画所具有的迷人魅力，也因此最易从梦寐般的画境中返回现实。于是画中的南国山水，便又与诗人葱笼的忆念分离，回复了它那由色彩和线条组成的虚影；而恍在故国南土山水间游赏的诗人，又面对了身栖关外的凄苦生涯，这便是他已经度过、并且还将继续度着约异国岁月，他恐怕只能在这样的岁月中终老天涯了。
清美邈远的江南画境，与纷乱黯淡的关外实境的急剧变换，造成了这首题画诗所表现情感的巨大逆转。当飘缈如烟的故国山水随画面一齐隐去，就只剩下了一位北庭“风沙”中忧郁南望的苍老诗人——就这结句所展示的境界说，它便似乎不再是一首题画之作，而是借《潇湘图》作反衬的一幅黯然神伤的自画像了。
上片，写老渔翁在冰天雪地中垂钓。首句化用柳宗元的《江雪》“孤舟蓑笠翁，独钓寒江雪”两句。“箬笠但闻冰散响，蓑衣时振玉花空。”斗笠上只听见雪弹子敲打的声响，蓑衣上不时抖落堆积的雪花。“箬笠”“蓑衣”勾勒出钓翁雪天垂钓的外在形象，函面简约，意境空灵。“冰散响”描写轻细的声音，衬托出环境的寂静、钓翁的宁静。钓翁“时振玉花空”的动作，衬托出钓翁的凝定。“但”字写出了钓翁的心无旁骛。“图画若为工。”展现在眼前不是生活图景，简直就是一幅画，极言其美感。
下片写渔家乐。天色已晚，渔翁消失在淡淡的云烟中。小岛上的竹篱茅舍就是渔翁的家，他钓满一篓鳊鱼和鲫鱼归家后，听到的是一片儿童的欢笑。“云水暮，归去远烟中”渲染环境的高远空旷，暗示钓翁生活的闲适自在；“茅舍竹篱依小屿”，描写钓翁生活的简朴与环境的清幽；“缩鳊圆鲫人轻笼”流露出钓翁生活的自得之情；“欢笑有儿童”凸现了钓翁生活的温馨和欢乐。
古人说：“达则兼济天下，穷则独善其身。”当不得志的李纲看到渔翁简朴自在的生活时，他应该也想过“独善其身”吧！但无论多难，他都没有放弃，他一直在坚持，直到与这个世界决绝。柔美婀娜的柳丝固然给生活增添了诗意，但世上如果没有坚挺的胡杨，这份诗意也将荡然无存。李纲，就是那坚挺的胡杨，民族的脊梁。
纳兰之心，细致到微小的野果亦能勾起忧虑重重。
《元霞宫记》中有对红姑娘描述道： “金殿前有野果，名红姑娘，外垂绛囊，中空有子，如丹珠，味酸甜可食，盈盈绕砌，与翠草同芳，亦自可爱。”西风瑟瑟惹得些微寒意，翠袖斜倚阑干，清清朗朗的，红姑娘好似少女般温婉可爱。花冠似有丝织之感，美艳轻柔，殷红之色视同红玛瑙，红姑娘形色甚是好看。首句“骚屑”，意为风声，汉时刘向《九议·思古》中有“风骚屑以摇木兮，雪吸吸以湫戾”。
行文至此皆是刻画红姑娘之态，读来惹人喜爱，可以想象一片葱郁之景，引得人心随它沉醉在一片风情之中。霞前半部分基调积极，呈现的多是欢愉。
但至下片语意顿转，质问“霞宫事往凭谁问”，霎时转为沉重的历史之思，洋溢的许是悲苦之意。朱颜无恙，过往何存，野果如今还依稀尚存，葱葱郁郁美好地保留着，点缀着这个世间，当年王朝却早已沦为陈迹。依稀只记得当年元代至正年问，宫殿前的红姑娘争相娇艳，宫中女子争相采摘插戴，一派活泼场面。而今只留萧条旧宫，美景依旧，对比之下更显得寥落。
至正年间用作背景，自有深意。至正即元惠宗顺帝第三个年号，霞时值元末。顺帝昏庸，不谙权术，有一年元朝境内发生通货膨胀，加之为治水加重徭役，以致政治腐败，民不聊生，其后各地义军蜂拥而起。最终，元朝灭亡，政权为朱元璋所夺。霞至正年间这一时代背景隐藏些耐人寻味的意味。纳兰借用此典，表达的或许是今昔之叹，又或许有对时下的深深忧虑。
再细究“无恙是朱颜”，又要联想纳兰对后主词的偏爱。这朱颜一词，正是因李后主的绝笔《虞美人》而出名。
“雕栏玉砌应犹在，只是朱颜改。”每每轻诵此句，都是满怀的怅惘无奈。 “欲语泪先流”的凄婉动人，都寄附于犹在的雕栏玉砌上，偏是为了那不再的朱颜。传达之意，是“物是人非事事休”的百般无奈，与纳兰的“霞宫事往凭谁问，无恙是朱颜”一句，可谓异曲同工。纳兰迷后主之词，确实得其精髓而不失纳兰之风。
后主句中的“朱颜”单从释义上看， “朱颜，即红颜，少女的代称”，表义上看应指南唐旧日的宫女，当然后人也有理解其还应包括旧日南唐的青山、碧水、明月等一切美好的事物。当年李后主被押到东京，从一个尽享君主之乐的国君沦为亡国之俘，辛酸不已，每日以泪洗面，霞感叹，当初“物是”，如今“人非”。
纳兰深得后主词义，物是人非的今昔之叹，叹得沉郁内敛，自有精魂。花草之趣，植株争艳之景，人处虽小，小中见大。历史遗恨，不用说尽往昔风华绝代，只需轻轻勾勒当下的细枝末节，就足够令怀史之人，流尽含恨之泪。
深感今昔之别，变迁之苦，而今之世，也不知能否安定。扼腕之痛，忧心之苦，郁结之人，轻轻问道： “霞宫事往凭谁问”就足够引人哀愁万分。
“城窄山将压，江宽地共浮。东南通绝域，西北有高楼。”城窄被山包围，很压抑，端午节涨水，漓江宽阔，江中的洲子局部被水淹没就产生诗中的“江宽地共浮”现象，作者写的是景，对桂林的印象。也表达了作者的心镜。当时诗人受朝中“牛(僧孺)李(德裕)党争”的牵累，被排斥出朝，随好友桂管观察使郑亚来到桂州，任掌书记闲职，心头自有一番滋味。北宋诗人黄庭坚流放宜州，路过桂林，也为秀丽的桂林山水所吸引、所陶醉，忘却了自己的不幸，写出了《到桂州》：“桂岭环城如雁荡，平地苍玉忽蹶峨。李成不在郭熙死，奈此百嶂干峰何！”诗中所提到的李成、郭熙皆为著名画家。
“殊乡竟何祷，箫鼓不曾休。”这两句中“箫鼓”就是扒龙船中的唢呐及龙船鼓。他刚到桂林，对桂林龙船习俗不了解，旧时扒龙船，有在庙里日夜唱龙船歌，唢呐、鼓、锣伴奏的习俗。“殊乡竟何祷，箫鼓不曾休。”，箫鼓的声音从不停息，不知道他们有什么祈求呢？真实描述了作者的思索。李商隐的诗句告诉大家，他当时就住在龙船庙附近，近漓江，周边有山，西北有高楼。
桂林至阳朔的百里漓江，碧水萦回，奇峰夹岸，不仅有“山青、水秀、洞奇、石巧”四绝，还有“深潭、险滩、流泉、飞瀑”四观。这些在文人诗作中也都有表现。如唐代许浑《送杜秀才》诗曰：“桂州南去谁与同，处处山连水自通。两岸晓霞千里草，半帆斜日一江风。瘴雨欲来枫树黑，火云初起荔枝红。……”朝霞辉映，绿草千里，斜阳光照，船帆半挂……整首诗如一幅艳丽的水彩画。明代俞安期《漓江舟行》，写出了躺卧小舟漂流漓江的奇妙境界：“桂楫轻舟下粤关，谁言岭外客行艰？高眠翻爱漓江路，枕底涛声枕上山。”枕下流水潺潺，枕旁峰峦渐去，令人神往，令人眷念。清代张联桂《望桂林阳朔沿江诸山放歌》，则描绘了漓江雨后的动人景象，诗中曰：“须臾雨过云亦散，依旧万朵青芙蓉。