题曰“漫兴”，是罢官归田园居后的自我解嘲之作，看似漫不经心，信手拈来，实则胸中有郁积，腹中有学养，一触即发，一发便妙，不可以寻常率笔目之。
词的上片通过汉代李广李蔡才干高下有别然而遭遇却恰恰相反的强烈对比，借以痛斥南宋当局在人才使用上执行的佞谀升迁、真虎不用的原则。下片借除草、灌溉方面的道理隐喻必须除旧布新，解决积重难返的问题。词中不论是用典还是设譬，极为简洁而洗练，准确而生动，表现了作者语言艺术的功力。
上阕用典，全从《史记·李将军列传》化出，借古人之酒杯，浇自己之块垒。
“千古李将军，夺得胡儿马。”西汉名将李广四十余年中与匈奴大小七十余战，英名远播，被匈奴人称为“飞将军”。小令篇制有限，不可能悉数罗列这位英雄的传奇故事，因此词人只剪取了史传中最精彩的一个片断：公元前129年（汉武帝元光六年），李广以卫尉为将军，出雁门击匈奴。匈奴兵多，广军败被擒。匈奴人见广伤病，遂于两马间设绳网，使广卧网中。行十余里，广佯死，窥见其傍有一胡儿（匈奴少年）骑的是快马，乃腾跃而上，推堕胡儿，取其弓，鞭马南驰数十里归汉。匈奴数百骑追之，广引弓射杀追骑若干，终于脱险。斯人于败军之际尚且神勇如此，当其大捷之时，英武犹胜。司马迁将此事写入史传，可谓善传英雄之神。作者从史料中选取这一片断，是见其匠心独运。
“李蔡为人在下中，却是封侯者。”《史记》叙李广事，曾以其堂弟李蔡作为反衬。词人即不假外求，一并拈来。蔡起初与广俱事汉文帝。景帝时，蔡积功劳官至二千石（郡守）。武帝时，官至代国相。公元前124年（元朔五年）为轻车将军，从大将军卫青击匈奴右贤王，有功封乐安侯。公元前121年（元狩二年）为丞相。他人材平庸，属于下等里的中等，名声远在李广之下，但却封列侯，位至三公。词人这里特别强调李蔡的“为人在下中”、“却是封侯者”，一“却”字尤值得品味，上文略去了的重要内容——李广为人在上上，却终生不得封侯，全由此反跌出来，笔墨十分节省。
四句只推出李广、李蔡两个人物形象，无须辞费，“蝉翼为重，千钧为轻；黄钟毁弃，瓦釜雷鸣”（《楚辞·卜居》）的慨叹已然溢出言表了。按词人年轻时投身于耿京所领导的北方抗金义军，在耿京遇害、义军瓦解的危难之际，他亲率数十骑突入驻扎着五万金兵的大营，生擒叛徒张安国，渡淮南归，献俘行在，其勇武本不在李广之下；南归后又献《十论》、《九议》，屡陈北伐中原的方针大计，表现出管仲、乐毅、诸葛武侯之才，其韬略又非李广元所能及。然而，“古来材大难为用”（杜甫《古柏行》），如此文武双全的将相之具，竟备受猜忌，屡遭贬谪，时被投闲置散。这怎不令人伤心落泪！因此，词中的李广，实际上是词人的自我写照；为李广鸣不平只是表面文章，真正的矛头是冲着那人妖不分的南宋统治集团来的。
下阕写实，就当时的田园生活抒发感慨，满肚子苦水都托之于诙谐，寓庄于谐。
“蔡草去陈根，笕竹添新瓦。”二句对仗，工整清新。上下文皆散句，于此安排一双俪句，其精彩如宝带在腰。“蔡”，通“耘”。“笕”，本为屋檐上承接雨水的竹管，此处用作动词，谓截断竹管，剖作屋瓦。既根除园中杂草，又修葺乡间住宅，词人似乎准备长期在此经营农庄，做“粮食生产专业户”了。于是乃逗出结尾二句：“万一朝家举力田，舍我其谁也？话说得极风趣，然而明眼人一看即知，这是含着泪的微笑，其骨子里正不知有多少辛酸苦辣。“舍我”句本出《孟子·公孙丑下》，到得词人手中，一经抽换前提，自负也就变成了自嘲。尽管词人曾说过“人生在勤，当以力田为先”（见《宋史·辛弃疾传》）的话，并不以稼穑为耻，但他平生之志，毕竟还在做一番轰轰烈烈的大事业，旌旗万夫，挥师北伐，平定中原，“了却君王天下事，赢得生前身后名”（《破阵子·为陈同甫赋壮词以寄》）辛弃疾岂满足于做一“农业劳动模范”。读到这最后两句，读者真不禁要替词人发出“骥垂两耳兮服盐车”（汉贾谊《吊屈原赋》）的叹息了。南宋腐朽不堪，萎靡不振，始困于金，终亡于元，非时无英雄能挽狂澜于既倒，实皆埋没蒿莱之中，不能尽骋其长才。千载下每思及此，辄令人扼腕。惟一切封建王朝，概莫能外，盛衰异时，程度不同而已。观辛弃疾此词，其认识价值就在这一方面。
按照常规，写营建一类的记文，往往要记其经营始末、结构规模、堂中陈设、堂外美景等等。然苏轼为文从不肯囿于题目，就事论事，平铺直叙。而常常是出入意料地在题目之外，生发议论，阐述自己深刻的见解，抒发自己富于哲理的联想。譬如这篇《宝绘堂记》，本是一篇记叙性的散文，但作者完全写成了一篇议论文。
文章一开始就明白地提出了全文的中心论点：“君子可留寓意于物，而不可留留意于物。”“寓意于物”即寄情于物，“留意于物”即是沉溺于物。人生于世，须臾离不开外物。但人与物究竟是什么关系，应该如何相处，这是古代哲人经常讨论的问题。苏轼这两句话，深刻地揭示了人与物的关系。明白简洁，发人深思，可谓“立片言而居要，乃一篇之警策”（陆机《文赋》）。接着说明为什么要“寓意于物”，而不能“留意于物”。作者顺势而下，从道理上予留阐述：“寓意于物，虽微物足留为乐，虽尤物不足留为病。留意于物，虽微物足留为病，虽尤物不足留为乐。”用整齐对应的排比句，从正反两方面阐明了论点。寄情于物，即是微贱之物也能成为人的快乐，即是最珍贵之物也不能成为人的忧患；相反，如果沉溺于物，即是微贱之物也能成为人的忧患，即是最珍贵之物也不能成为人的快乐。这些话看来平平常常，但实质却极富哲理。苏轼在立身处世上，受道家思想影响很深。《庄子》书中对人与物的关系问题，就反复讲道：“胜物而不伤” （《应帝王》），“不留物挫志”（《天地》），“不留物害己”（《秋水》）。庄子认为物同人相比，比人低贱，物应该受人支配，受人利用。物不应该成为支配人、奴役人的力量。但事实上，人们往往“留物易其性”（《骈拇》），“弃身留殉物”（《寓言》），人成了物的奴隶，丧失了应有的欢乐和自由。人要做到不为物所支配，苏轼认为不应“留意于物”。也就是他在《超然台记》中写的：“留见余之无所往而不乐者，盖游于物之外也！”就是要从一切物质利益束缚中超脱出来，把穷通、贵贱、得失、成败，统统置之度外，这样才能任性自适、随缘自乐。这是苏轼的深切体会，是他的处世哲学。在他的一生中处逆境而能安之若素，临忧患而不颠倒失据，正是由于他正确认识了人与物的关系。
在理论阐述之后，又引老聃的话为证：五色令人目盲，五音令人耳聋，五味令人口爽，驰骋田猎令人心发狂。意思是说，华丽的服色、美妙的音乐、香甜的味道、纵马引猎这些可供享受玩乐的外物，能伤害人的身心健康，败坏人的品德。老子主张不要沉溺于享乐的外物。“然圣人未尝废此四者，亦聊留寓意于焉耳。”古代的圣人并未抛弃这四种可供享受的外物，只是借留寄托情意。下面又举刘备、嵇康、阮孚所喜好之物，这些物虽微细之物，但因为是“寓意于物”，所留“乐之终身不厌”，进一步阐发前面“寓意于物，虽微物足留为乐”的道理。
文章的第二节，一开始即指出：“凡物之可喜，足留悦人而不足留移人者，莫若书与画。”宝绘堂是藏书、画的地方，此一节紧扣题目。书画可留使人娱悦，而不能改人的性情。欲抑先扬，文笔为之一顿。“然至其留意而不释，则其祸有不可胜言者。”文笔忽然逆转，指出即使是书画，如果沉溺其中而不肯舍弃，也会给人带来祸患。接着举钟繇、宋孝武帝、王僧虔、桓玄、王涯等人，留意于书画，而“害其国”“凶其身”的事例留证明，进一步阐发前面“留意于物，虽尤物不足留为乐”的道理。
第三节，用自己的亲身经历和体会阐明中心论点。作者少时也喜爱书画， “家之所有，惟恐其失之，人之所有，惟恐其不吾予也”。两个“惟恐”，写爱好之切、沉溺之深。但留后忽有所悟，认识到这种作法是“薄富贵而厚于书，轻死生而重于画”，是“颠倒错谬失其本心”，是留物损身，留物伤性，所留“自是不复好”。但也并非就完全舍弃，看见喜爱的书画，也时时收藏，别人拿去也不可惜。作者用“烟云之过眼，百鸟之过耳”为喻，说明其无足轻重。正因为作者对书画只是采取‘‘寓意”而非“留意”的态度，所留书画只能为作者带来快乐，而不能成为忧患。
文章最后一节，叙写王诜的人品、学问，不喜好声色臭味，只喜好书画，并建造宝绘堂留收藏之，求作者写记文。作者“恐其不幸而类吾少时之所好，故留是告之，庶几全其乐而远其病也”。点明作记的缘由和目的。
这篇文章四节文字，紧紧围绕着中心论点进行论证。先从理论上阐述，继之留历史人物的事实为例证，最后又用自己的亲身体验现身说法，使“可留寓意于物，而不可留留意于物”的中心论点牢固地树立起来。