这篇记从批评世人以己之所好而骄人、笑人的陋习，层层演进，引出对张希元爱好书法却怀才不遇寄予同情，并相信他会以自己的才能在仕途上发挥经世济民的作用，表现了苏轼积极用世的人生观。此文不循常理，不守成规，将一篇普通的记述散文写得纵横开阖，出人意表。
这篇文章一共分为三段，第一段一上来就阔发议论。紧紧围绕着一个“笑”字延伸开来，描述了世人的种种偏见与短识。琴棋书画爱好者们嘲笑那些喜好声色的平庸之辈，但他们又被喜好文章的人嘲笑；而喜好功名的人对好文者同样不以为然，认为他们的文章不过是些酸腐“空言”而已；而这些追求功名的人们，即使能够像刘、项、汤、武一样掌管天下，但是他们竟依然无法避免他人的嘲笑。因为在大隐士许由和大圣人孔子看来，这些功名不过过眼云烟，不值一提。最后以“世之相笑，岂有既乎”为结，说明世间人们的相互嘲笑从来未曾停止。苏轼对这些嘲笑统统给予了否定。
第二段紧承第一段对收藏者的痴情、痴态、痴行进行了进一步的延展和刻画。他们为书画“弃躯忘亲”，心无旁骛，专心致志；他们为书画“椎心呕血”，连生命都可放弃；他们为书画“剖冢斫棺”，可谓不择手段，用尽心思。但是作者苏轼理解他们，说人世间人们所看重的声色享乐都不足以吸引他们，转移他们的志趣。他们在书画中所得到的精神享受是连他们自己都无以言表的，其他人就更加无法理解他们了。作者强调，不理解并不能成为嘲笑他们的理由，更不能成为否定他们的根据。他总结说：“人特以己之不好，笑人之好，则过矣。”这不仅批评了那些嘲笑琴棋书画爱好者的人们，更将所有的同类嘲笑给予了归纳否定，依然用“笑”字串连，与上文呼应，文气贯通一气。
从“毗陵人”到“属余为记”为第三段的开端，介绍作记的缘起。这里应该详细地记述、描绘张希元如何爱好书画典籍，珍藏了什么，规模是怎么样的。但是作者仅寥寥数笔，便戛然而止。张希元“家世好书”，其风可追；“所蓄古今人之遗迹至多”，多善可陈；“尽刻诸石，筑室而藏之”，精神之嘉，可予彰表。苏轼以“蜀人”“蜀言”为转接承续，引出对人生道路设计、从业选择的看法。谚语“学书者纸费，学医者人费”的意思是：学习书法绘画的人，要耗费大量的纸张；学医术会因医术未精而伤害他人。谚语虽非名人名言，但是因为其在民间口头传播，有很大影响力。文末，苏轼特别郑重地谆谆告诫张希元：“君知政之费人也甚于医，则愿以余之所言者为鉴。”苏轼对张希元是否希望从政文章并没有明确道出，只是提出了期望和警示——从政非同藏书等个人爱好，关乎芸芸众生的生死祸福，因而需要如履薄冰、小心翼翼。
表面上看，苏轼对行业、职业的评价不甚明确，观点有些含糊，但这恰恰是对张君明确的提醒，是苏轼的高明之处。因为从政好坏因人而异，关键是个人能否把握掌控问题。提出原则，而不给具体结论，其实是最好的答案。
以“记”的本色而论，本应该写人、写堂，而此篇文章表面看从头到尾全是议论声；但是细品之下，却是无一字不是写人、写堂，无一字不是记其所应记。文章借对世人嘲笑的议论，记述了建堂所遇到的压力、阻挠和困难；借对堂主苦恼劝解的议论，记述了堂主为收藏付出的种种代价、牺牲和精神压力。可谓是句句写堂，句句写人。
该诗首联追寻“愁”的踪迹。大千世界，“愁”不会有人主动喜欢，但却无影无踪无时不在人的身边，有时会不请自来，来了又赶不走，它来了总是一半藏在人的心里——“愁肠百结”，一半写在人的心灵之窗——“愁眉苦脸”。
颔联揭露“愁”潜入的时机。深谙愁苦的人总会把“愁”贮藏在心房僻远的角落里，再筑起精神防线提防它侵袭，可“愁”欺人时，它会随机而出，无孔不入。诗人认为“愁”最容易潜入的机会有二，一是风雨摧花春归去，落英遍地孤者见，最能使人愁肠寸断，思虑万千，如李煜《浪淘沙》“流水落花春去也，天上人间”的亡国哀愁；欧阳修《蝶恋花》“门掩黄昏，无计留春住。泪眼问花花不语，乱红飞过秋千去”的青春少妇被抛弃之悲愁。二是心中有愁情的人借酒浇愁，待酒醒后眼见残月斜照窗棂，想到人的“悲欢离合”、月的“阴晴圆缺”，“愁”会冲破防线，悄悄爬上心头，使人更加愁肠百结，忧愁悲伤，愁人之“愁”会“眉间心上，无计相回避”（范仲淹《御街行》）。此联可能是作者的经验之谈。
颈联写“愁”的情状。苦恼的忧愁如藏在愁人的心中，印在愁人的眉间，那愁人就会感觉到“愁”像万顷连天草铺天而下挥不去，就像千万条盖地丝绳网冲不破，他被严严盖住、紧紧捆住，困在其中，痛苦不堪。想挣脱这“柔”若草“乱”若丝的“愁”绪实叫人无可奈何。
尾联写“愁”无处不在。“愁”如此气人、欺人、恼人，可能那些王侯将相达官贵人们过着花天酒地、醉生梦死、姬歌妾舞、骄奢淫逸的生活，不知愁为何物，除此之外，“愁”乃“人问何处不相随”。
“愁”究竟为何物，曹植《释愁文》有此一释：“愁之为物，惟惚惟帆。不召自来，推之弗往。寻之不知其际，握之不盈一掌。寂寂长夜，或群或党。去来无方，乱我精爽”。
这首《咏愁》诗如李商隐咏《泪》诗写泪而不见“泪”字，此《咏愁》诗也满篇不见“愁”字，这类诗近似制谜语的文字游戏，都以巧丽取胜，真如前人所评“格虽不高，却有神无迹”。
