这首咏史诗，就秦始皇筑万里长城事发表议论。前两句写筑城。第一句说长城高而广，城上屯扎着千军万马，铺陈城的高大稳固，守城的人众多，难以撼动。次句说筑城的目的，是为了抵御外部胡人的侵略，巩固自己的政权，以便于“一世而达万世”，永保帝业。三、四句突转，说秦始皇只知道危险来自外边，自以为有了长城，便可高枕无忧，却不知道体恤人民，结果酿成内乱，激起民变，陈胜、吴广揭竿而起，秦政权没多久就完结了。诗揭示的是这样一个历史规律：内政不修，对人民残酷压迫，是国家灭亡的主要原因，外部的侵扰倒是其次的。当时宋朝对人民的压榨也很厉害，百姓怨声载道，诗人在这里明是咏史，也是针对现实，对统治者发出警告。
咏史诗所咏如果是前人没咏过的史实，就应该述清事件的来龙去脉，直接发表议论；如果所咏是熟事，务必转换角度，翻出新意，切忌人云亦云。胡仲参这首诗所咏是秦以暴政失国，这个题目，前人已经作了许多论述，所以这首诗擒住修筑长城备胡这一点，肯定长城的高广及防御功能，然后生发开去，牵出对立面，说秦始皇刻意预防的地方倒没出什么问题，他没想到的地方反而成了导致亡国的关键。这样组织材料加以议论，便给人以思考，也给人以新鲜感。
胡仲参这首诗的构思布局，与唐章碣的《焚书坑》有些相同。章碣诗云：“竹帛烟销帝业虚，关河空锁祖龙居。坑灰未冷山东乱，刘项原来不读书。”说秦始皇提防书生，结果灭秦的人恰是不读书的人，与胡诗一样，都是从相反处做文章。元人陈孚有首《博浪沙》诗，是从正面做文章的，也很有趣味，诗云：“一击军中胆气豪，祖龙社稷已动摇。如何十二金人外，犹有人间铁未销。”说秦始皇收尽民间铁，铸成十二金人，没想到仍然有大铁椎在，使他差点丧命。由此可见，诗材遍地皆是，只要细心挖掘，就能找到好的题目。
从“山家”一家一户的小环境扩大到周围的大环境。前三句写自然景色。“前村后垄”犹言“到处”。这三句中虽无一字赞美之词，然而田园的秀色，丰产的景象，静穆的生活气息已是触目可见，具体可辨，值得留恋。且不说桑柘的经济价值，单说蒲，蒲嫩时可食，成熟后可织席制草具，大有利于人。再说鸳鸯鸂鶒尚且宁静地生活着，何况乎人。这就又为第四句“东邻西舍无相侵”作了铺垫与烘托。而且植物的蓬勃生长，总离不开人的辛勤培植。诗句不言村民勤劳智慧，而颂扬之意俱在言外。
在上述景色秀丽、物产丰盛、生活宁静、村民勤劳的环境里，“东邻西舍”自然相安无事，过着“无相侵”的睦邻生活。没有强凌弱、众暴寡、尔虞我诈、互相争夺等社会现象。很明显，通过农家宁静生活的描写，诗人作为佛门人士，也不免寄托了诗人自己的理想和情趣，这自不待言。
诗的后四句，一口气写了包括作者在内的四个人物，在同类唐诗中，这还是不多见的。这四句从生活在这一环境中人物内心的恬静，进一步展示出山家的可爱。寥寥几笔，把茧白、水碧、瓜香、豆熟以及笛声悦耳的客观景致，写得逼真如画；蚕娘、牧童、山翁的形象，勾勒得栩栩如生，宛然在目，呼之欲出。令人不难想见，蚕娘喜获丰收，其内心之甜美；牧童和衣而浴，其性格之顽皮：“山翁留我宿又宿”，其情谊之深厚。加上“笑指”等词语的渲染，更把山翁的动作、情态、声音、笑貌及其淳朴善良、殷勤好客的性格进一步显现出来；而诗人“我”，处在这样的环境里，不待言，其流连忘返的心情可想而知。更妙的是，诗在末尾用一“熟”字状“西坡瓜豆”，绘出一片丰收在望的景象，回应上文满塘黑压压的蒲与到处都是的桑柘，真叫人见了喜煞。全诗至此戛然而止，却留下耐人回味的余地。
