按照常规，写营建一类的记文，往往要记其经营始末、结构规模、堂中陈设、堂外美景等等。然苏轼为文从不肯囿于题目，就事论事，平铺直叙。而常常是出入意料地在题目之外，生发议论，阐述自己深刻的见解，抒发自己富于哲理的联想。譬如这篇《宝绘堂记》，本是一篇记叙性的散文，但作者完全写成了一篇议论文。
文章一开始就明白地提出了全文的中心论点：“君子可留寓意于物，而不可留留意于物。”“寓意于物”即寄情于物，“留意于物”即是沉溺于物。人生于世，须臾离不开外物。但人与物究竟是什么关系，应该如何相处，这是古代哲人经常讨论的问题。苏轼这两句话，深刻地揭示了人与物的关系。明白简洁，发人深思，可谓“立片言而居要，乃一篇之警策”（陆机《文赋》）。接着说明为什么要“寓意于物”，而不能“留意于物”。作者顺势而下，从道理上予留阐述：“寓意于物，虽微物足留为乐，虽尤物不足留为病。留意于物，虽微物足留为病，虽尤物不足留为乐。”用整齐对应的排比句，从正反两方面阐明了论点。寄情于物，即是微贱之物也能成为人的快乐，即是最珍贵之物也不能成为人的忧患；相反，如果沉溺于物，即是微贱之物也能成为人的忧患，即是最珍贵之物也不能成为人的快乐。这些话看来平平常常，但实质却极富哲理。苏轼在立身处世上，受道家思想影响很深。《庄子》书中对人与物的关系问题，就反复讲道：“胜物而不伤” （《应帝王》），“不留物挫志”（《天地》），“不留物害己”（《秋水》）。庄子认为物同人相比，比人低贱，物应该受人支配，受人利用。物不应该成为支配人、奴役人的力量。但事实上，人们往往“留物易其性”（《骈拇》），“弃身留殉物”（《寓言》），人成了物的奴隶，丧失了应有的欢乐和自由。人要做到不为物所支配，苏轼认为不应“留意于物”。也就是他在《超然台记》中写的：“留见余之无所往而不乐者，盖游于物之外也！”就是要从一切物质利益束缚中超脱出来，把穷通、贵贱、得失、成败，统统置之度外，这样才能任性自适、随缘自乐。这是苏轼的深切体会，是他的处世哲学。在他的一生中处逆境而能安之若素，临忧患而不颠倒失据，正是由于他正确认识了人与物的关系。
在理论阐述之后，又引老聃的话为证：五色令人目盲，五音令人耳聋，五味令人口爽，驰骋田猎令人心发狂。意思是说，华丽的服色、美妙的音乐、香甜的味道、纵马引猎这些可供享受玩乐的外物，能伤害人的身心健康，败坏人的品德。老子主张不要沉溺于享乐的外物。“然圣人未尝废此四者，亦聊留寓意于焉耳。”古代的圣人并未抛弃这四种可供享受的外物，只是借留寄托情意。下面又举刘备、嵇康、阮孚所喜好之物，这些物虽微细之物，但因为是“寓意于物”，所留“乐之终身不厌”，进一步阐发前面“寓意于物，虽微物足留为乐”的道理。
文章的第二节，一开始即指出：“凡物之可喜，足留悦人而不足留移人者，莫若书与画。”宝绘堂是藏书、画的地方，此一节紧扣题目。书画可留使人娱悦，而不能改人的性情。欲抑先扬，文笔为之一顿。“然至其留意而不释，则其祸有不可胜言者。”文笔忽然逆转，指出即使是书画，如果沉溺其中而不肯舍弃，也会给人带来祸患。接着举钟繇、宋孝武帝、王僧虔、桓玄、王涯等人，留意于书画，而“害其国”“凶其身”的事例留证明，进一步阐发前面“留意于物，虽尤物不足留为乐”的道理。
第三节，用自己的亲身经历和体会阐明中心论点。作者少时也喜爱书画， “家之所有，惟恐其失之，人之所有，惟恐其不吾予也”。两个“惟恐”，写爱好之切、沉溺之深。但留后忽有所悟，认识到这种作法是“薄富贵而厚于书，轻死生而重于画”，是“颠倒错谬失其本心”，是留物损身，留物伤性，所留“自是不复好”。但也并非就完全舍弃，看见喜爱的书画，也时时收藏，别人拿去也不可惜。作者用“烟云之过眼，百鸟之过耳”为喻，说明其无足轻重。正因为作者对书画只是采取‘‘寓意”而非“留意”的态度，所留书画只能为作者带来快乐，而不能成为忧患。
文章最后一节，叙写王诜的人品、学问，不喜好声色臭味，只喜好书画，并建造宝绘堂留收藏之，求作者写记文。作者“恐其不幸而类吾少时之所好，故留是告之，庶几全其乐而远其病也”。点明作记的缘由和目的。
这篇文章四节文字，紧紧围绕着中心论点进行论证。先从理论上阐述，继之留历史人物的事实为例证，最后又用自己的亲身体验现身说法，使“可留寓意于物，而不可留留意于物”的中心论点牢固地树立起来。
上片开头三句即直接发议论和感慨，说江北跟当日石、温辈所在的洛南一样，不是没有人才。可是时代变了，石、温辈能得到知遇，而税巽甫却遇不到。“不同者时”，语气干脆有力，愤慨之情可见。“赖交情兰臭”四句，转到叙述两人的交往和友谊，实则赞扬对方的品德、志向和才能。意思说，我们两人志同道合，气味相投，都把做官看得象轻云一样淡薄，更何况做官的得失也难以预料呢？“夜观”三句，进一步叙述他们交往的具体情况：两人曾在夜间一同在楼观谈论军事，在春日的郊原上凭吊古人，慷慨激昂地以千秋功业互相推许。这里赞扬税巽甫是位关心国家大事，有志报国的有识之士。也表示他之所以谋求出仕，不是为了升官发财，而是为了报国。他们“论兵”，足以表现对当时宋、金对峙局面的关心，对国势的担心。可是，这种人却不被任用，流露了对当局的不满。结句说税巽甫清贫如洗，行囊里只有诗作。这一方面赞扬税巽甫的高洁，安于贫困。一方面也说明税巽甫的潦倒。
下片开头写得非常别致。作为送别，诗人不是表示挽留，抒发惜别之情，而是用陶渊明《归去来兮辞》中的“归去来兮”，似乎在催促对方归去，还带点庆贺的意味。这不仅仅指税巽甫，还包括诗人自己在内，是承上片“宦情云薄”而来。意思是说，你先回去吧，这是我俩的共同愿望。所以下面紧接；我已备置好远行的船，不久也要辞官归去。这句补充上面的意思，也是过渡。“正姑苏”四句，描绘想象中家乡的美好情景：现在正是吴中米贱酒甘，吴松江上莼菜鲜嫩，鲈鱼肥美的时候。这里用晋张翰的典故。词人与张翰同为吴地人，但归去的目的不同。张翰是“贵得适意”，而词人却以表面豁达的话语，表现内心的不满与愤慨，也是对友人的安慰。言外之意是说，像税巽甫这样有才能、品德高尚的人不被任用，可见当政者的腐败无能。这样的政府没有可以作为的。不如退隐吧。“我住”三句，进一步设想归去后，两人交往的融洽情景；我的住处和你一水相连，不妨经常趁着月色乘船造访。这里不写其他交往情况，而只写月夜乘船。一来是本地风光，显示了江南水乡的特点，二来是以月色、水光为背景，表现两人退隐后的闲适自在的生活情趣和高洁的友谊。最后又归结到送别，紧承前面的意思，提出：既然不久即将相会，那么，在长亭折柳送别时，又何必依依不舍呢？
这是一首类似“壮行色”的送别词，特点是不伤别，反而鼓励归去而诗人的矛盾表现在：一方面为友谋官不得而歉疚，另一方面又安慰对方不当官也罢，我马上也回去了。在平淡的措辞中，隐含着对现实的极度愤懑情绪。