《吴山图》是作者的朋友魏用晦离任吴县县令时，当地百姓送给他的一幅山水画。《吴山图记》即以这幅画为线索，先寥寥数笔概写吴县的风物名胜和湖光山色，然后自然而然地写出魏用晦在担任县令时与当地百姓结下的难以忘怀的深厚感情，并以北宋苏轼和韩琦的故事，揭示出“然后知贤者于其所至，不独使其人之不忍忘，而己亦不能自忘于其人也”，以此来称颂魏用晦对吴县的缱绻深情。作者不刻意雕饰文字而写得清新淡雅，着眼吴县山水画而寓意于山水画外，构思颇为新巧。
文章首先介绍了吴县诸多的崇山峻岭、吴王故宫、西子遗迹、名胜风景以及沉浸着七十二座山峰的广阔太湖，给读者展示了一派“海内之奇观”的吴县秀丽风光。作者在这里并非为写景而写景，而是为下文中颂扬“君于吴之山川，盖增重矣”作好铺垫。接下来记叙了魏用晦做了不到三年的吴县县令，因考绩优等，被召入朝做给事中，吴县百姓念其恩德想挽留他没有成功，便赠《吴山图》以作为纪念。作者在这儿记叙的是临别赠图而不是赠送其他贵重物品，这既表明了吴县百姓对其思德惠政的感谢，也表明了魏用晦为官清廉的品德。
第二段，归有光以极为感慨的口气，论述了县令对于百姓的重要。“令诚贤也，其地之山川草木，亦被其泽而有荣也；令诚不贤也，其地之山川草木，亦被其殃而有辱也。”县令如果贤明，那地方的山川草木也叨他的恩泽而享有荣耀；县令如果不贤明，那地方的山川草木也遭到他的祸殃而蒙受耻辱。这些议论是为了直接引出下一句“君于吴之山川，盖增重矣”。魏君之于吴县的山川，实在是为山河增添了光彩。这一句与文章开头写吴县秀丽山川、名胜古迹的文字相互照应，使议论和写景有机地配合在一起，将魏用晦治理吴县的功绩形象地表现出来。最后以“而君则亦既去矣，何复惓惓于此山哉？”结束此段，不仅写出了魏用晦对吴民的怀念之情，也起到了承上起下的作用。
末一段，归有光以苏轼称赞韩琦不忘情于黄州，并替黄州人将韩琦的《思黄州》诗刻在石碑上的故事，引出“贤者于其所至，不独使其人之不忍忘而已，亦不能自忘于其人也”的道理。并以魏用晦已离开吴县三年，仍时常拿出《吴山图》深情地叹息，来说明魏用晦为官贤明，不忘百姓的品德。文章最后紧扣主题，深深地感叹道：“噫！君之于吾吴有情如此，如之何而使吾民能忘之也！”使对魏用晦的颂扬之情达到高潮。文章写得婉转情深，意蕴悠远，笔墨更在山水之外，颇具情韵。
从这篇不长的散文中可以看出归有光把握此类文章的功力。他以县令和吴民相互思念之情作为文章之魂，以《吴山图》作为贯穿全篇的线索，无论是描写吴县秀丽山川、抒发感慨的议论，还是记叙古代贤人的故事，都离不开烘托魏用晦的贤明和政绩。文章以舒缓的语气叙说平平常常的事，却又紧扣着抒发深情这个中心，因而不使人觉得他颂扬好友牵强、琐屑。从文章中还可以看出归有光善于把生活小事引摄到“载道”的“古文”上来，以及善于以触景生情、见物思人等方式来抒发情致的为文特点。
这首诗的起首两句，描写的是当时情景。第三句是一问，第四句是一答，将诗的主题表现出来。宋代兵制，官军之外，尚有乡兵。诗中所说的山水寨，即当时淮南的一种地方武装。这种组织，对于抗击金兵，起过一些作用，但也给人民带来许多骚扰危害，此诗所揭露的就是这种弊病。
自“寨长过我庐”起，直至下面“一身无所依”，全是一个流离失所的难民的自述，具体描写了所受之苦。“寨长过我庐”一下八句，写抽丁时寨长粗暴傲慢，公差吆喝呼唤，乡人忙着杀鸡宰猪，如果供应稍有不合意之处，便会立即遭到一阵鞭打。这种敲诈勒索的情景，在古诗中常可看到。但即使这样，当地的人们还是难逃被征入伍的命运。“驱东复驱西”一下四句，写抽丁后之苦楚：既已应征，就是兵，而非农了，故整年被东驱西赶，疲于戎事，把农事全荒废了。但这兵又是乡兵，只有义务，没有薪饷，甚至连买刀剑之钱，也要自己承担。一个农民，不耕作，肯定没钱。为了买刀置剑，甚至于把妻子的衣服当光，由此更见山水寨扰民之烈。这种典衣卖地的情景，在古诗中也常可看到，此诗可注意的是尤袤揭示了一个矛盾：一方面官府不许人民务农，驱使他们从事戎行；另一方面官府又不承担任何责任，连军备开支也要他们自己承担——好比“既要马跑，又不供草”。组织山水寨，原是为了抗金保民，现反驱民于死地，那又要它就没什么用了。尤袤把这个矛盾深刻地揭示出来，也就揭露了当时一批官吏豪强，借建寨抗金为名，行夺民肥私之实的真相。这个矛盾在当时是没法解决的，百姓既在淮南无法为生，那又为何不远走高飞，而坐以待毙呢？“去年江南荒”一下四句，就对此作了回答，将诗意拓宽，由“团结山水寨”的扰民，进而言整个社会的不安。诗中所描写的这个淮民原居江南，因逃荒来到江北。江北以兵乱不能安生，江南因灾荒同样没有活路。这天灾人祸齐之，百姓流离、无家可归的情景，跃然纸上。
“父母生我时”一下八句，言当地百姓本是农家子弟，只习耕田种桑，连官府规矩都不懂，是不能当兵打仗的。把这样的人召集起来，不加训练，连武器都不会使，也是没有用的。这是十分明显的事实，那些官吏、寨长也是看到的，明白的。事实上即使他们看到，也无动于衷，因为对不少人来说，组织山水寨，一方面是欺蒙上司，另一方面也是为了趁机勒索，至于这支队伍究竟有多少战斗力，原非其所考虑之事。这就进一步揭露了建立这种山水寨徒劳百姓、无补于事的实质。“流离重流离”一下四句，和上面“驱东复驱西”以下八句呼应。想那唐代孟郊一生潦倒，难免冻馁，也尝作诗：“食荠肠亦苦，强歌声无欢。出门即有碍，谁谓天地宽！”（《赠别崔纯亮》）可如今这淮民惨苦之状，更甚于孟郊，颠沛流离，饥寒交迫，茫茫天地，竟无容身之所。残酷的现实，终于迫使诗中这个淮民发出了这样的愤激之言：“谁谓天地宽，一身无所依！”
结尾紧接上面官吏之言，针对当时形式，围绕诗的主题，抒发自己的感慨和议论。自“淮南丧乱后”以下，为作者戒辞，言淮南已经丧乱，安定未久，人口稀少，村落荒凉，用具体的描述，道出了“死者积如麻，生者能几口，荒村日西斜，破屋两三家。”这样的慨叹。对此，官府原应加以安抚、救济才是。但如今官府无力救济，反加以扰民，百姓是受不了的。在是一个明显的事实：民不堪其扰了！即“抚摩力不给，将奈此扰何！”尤袤此诗为民请命，也在结句中明白地表现出来。