这首咏史诗，就秦始皇筑万里长城事发表议论。前两句写筑城。第一句说长城高而广，城上屯扎着千军万马，铺陈城的高大稳固，守城的人众多，难以撼动。次句说筑城的目的，是为了抵御外部胡人的侵略，巩固自己的政权，以便于“一世而达万世”，永保帝业。三、四句突转，说秦始皇只知道危险来自外边，自以为有了长城，便可高枕无忧，却不知道体恤人民，结果酿成内乱，激起民变，陈胜、吴广揭竿而起，秦政权没多久就完结了。诗揭示的是这样一个历史规律：内政不修，对人民残酷压迫，是国家灭亡的主要原因，外部的侵扰倒是其次的。当时宋朝对人民的压榨也很厉害，百姓怨声载道，诗人在这里明是咏史，也是针对现实，对统治者发出警告。
咏史诗所咏如果是前人没咏过的史实，就应该述清事件的来龙去脉，直接发表议论；如果所咏是熟事，务必转换角度，翻出新意，切忌人云亦云。胡仲参这首诗所咏是秦以暴政失国，这个题目，前人已经作了许多论述，所以这首诗擒住修筑长城备胡这一点，肯定长城的高广及防御功能，然后生发开去，牵出对立面，说秦始皇刻意预防的地方倒没出什么问题，他没想到的地方反而成了导致亡国的关键。这样组织材料加以议论，便给人以思考，也给人以新鲜感。
胡仲参这首诗的构思布局，与唐章碣的《焚书坑》有些相同。章碣诗云：“竹帛烟销帝业虚，关河空锁祖龙居。坑灰未冷山东乱，刘项原来不读书。”说秦始皇提防书生，结果灭秦的人恰是不读书的人，与胡诗一样，都是从相反处做文章。元人陈孚有首《博浪沙》诗，是从正面做文章的，也很有趣味，诗云：“一击军中胆气豪，祖龙社稷已动摇。如何十二金人外，犹有人间铁未销。”说秦始皇收尽民间铁，铸成十二金人，没想到仍然有大铁椎在，使他差点丧命。由此可见，诗材遍地皆是，只要细心挖掘，就能找到好的题目。
这组诗共二首，但许多选本只看中第二首，因而第一首已鲜为人知。其实第二首虽好，却是第一首的注脚。第一首所说的“此意自佳君不会”的“此意”，正是指第二首所写的西湖晴雨咸宜，如美人之淡妆浓抹各尽其态。不选第一首，题中的“饮”字也无着落。苏轼的意思是说，多数人游湖都喜欢晴天，殊不知雨中湖山也自有其佳处。湖上有水仙王庙，庙中的神灵是整天守在湖边，看遍了西湖的风风雨雨、晴波丽日的，一定会同意自己的审美观点，因而作者要请水仙王共同举杯了。
这一首的首句“艳”字下得十分精到，把晨曦的绚丽多姿形容得美不胜收。若只看第二首，则“浓抹”一层意思便失之抽象。
全诗可分为四段，前两段各八句，后两段各六句。从开头到“名垂万古知何用”这八句是第一段。
第一段前四句用“诸公”的显达地位和奢靡生活来和郑虔的位卑穷窘对比。“衮衮”，相继不绝之意。“台省”，指中枢显要之职。“诸公”未必都是英才，却一个个相继飞黄腾达，而广文先生，“才名四十年，坐客寒无毡。”那些侯门显贵之家，精粮美肉已觉厌腻了，而广文先生连饭也吃不饱。这四句，一正一衬，排比式的对比鲜明而强烈，突出了“官独冷”和“饭不足”。后四句诗人以无限惋惜的心情为广文先生鸣不平。论道德，广文先生远出羲皇。论才学，广文先生抗行屈宋。然而，道德被举世推尊，仕途却总是坎坷；辞采虽能流芳百世，也解决不了生前的饥寒。
第二段从“广文先生”转到“杜陵野客”，写诗人和郑广文的忘年之交，二人像涸泉里的鱼，相濡以沫，交往频繁。“时赴郑老同襟期”和“得钱即相觅”，仇兆鳌注说，前句是杜甫去，后句是郑虔来。他们推心置腹、共叙怀抱，开怀畅饮，聊以解愁。
第三段六句是这首诗的高潮，前四句樽前放歌，悲慨突起，是神来之笔。后二句似宽慰，实愤激。司马相如是一代逸才，却曾亲自卖酒、洗涤食器；才气横溢的扬雄就更倒霉了，因刘棻获罪而被株连，逼得跳楼自杀。诗人似乎是用才士薄命的事例来安慰朋友，然而读者只要把才士的蹭蹬饥寒和首句“诸公衮衮登台省”连起来看，就可以感到诗笔的针砭力量。
末段六句，愤激中含有无可奈何之情。既然仕路坎坷，怀才不遇，那么儒术拿来也没有用了，孔丘和盗跖也可以等量齐观了。诗人像这样说，既是在评儒术，暗讽时政，又好像是在茫茫世路中的自解自慰，一笔而两面俱到。末联以“痛饮”作结，孔丘非师，聊依杜康，以旷达为愤激。
诸家评论这首诗，或者说悲壮，或者说豪宕，其实悲慨与豪放是兼而有之的，而以悲慨为主。普通的诗，要么是豪放易尽（一滚而下，没有含蓄），要么是悲慨不广（流于偏激）。杜甫的诗豪放而不失蕴藉，悲慨而无伤雅正，这首诗就是一个例子。
首段以对比起句，不但挠直为曲，而且造成排句气势，运笔如风。后四句两句一转，愈转感情愈烈，“浩歌弥激烈”。第二段接以缓调。前四句为七言诗句，后四句突然转为五言诗句，免去了板滞之感。而且短句促调，渐变轩昂，把诗情推向高潮。第三段先用四句描写痛饮情的场景，韵脚换为促、沉的入声字，所谓“弦急知柱促”，“慷慨有余哀”。而诗中杂有豪放的语句，所以没有衰飒气味。诗评家对这首诗推崇备至，说“清夜以下，神来气来，千古独绝。”“清夜四句，惊天动地。”（见《唐宋诗举要》引）但他们忽略了“相如逸才”、“子云识字”一联的警策、广大。这一联妙在以对句锁住奔流之势，而承上启下，连环双绾，过到下段使读者不觉。这一联与首段联系起来，便显得“衮衮诸公”可耻。实际上就是说“邦无道，富且贵焉，耻也”。所以说这首赠诗不是一般的叹老嗟卑、牢骚怨谤，而是伤时钦贤之作，诗人将激烈的郁结情绪用蕴藉的手法表现了出来。
末段又换平声韵，除“不须”一句外，句句用韵，慷慨高歌，显示出放逸傲岸的风度，使读者读起来，能沉浸其中而精神振荡。