诗歌一开头就回顾了自己十余年来坎坷的仕途经历及内心的苦闷彷徨。诗人“十五隐于高阳，二十献书厥下”（《感旧赋》），自开元二十三年出山，由此时已九年。“弃鱼钓”，说自己决心出仕，“十载”举其成数说于谓时间之长。“无由谒天阶，却欲归沧浪”两句概括了“十载干明王”的坎坷不退的经历，包含着屡遭挫折，不甘归去而又不得不归去的感叹。以上四句语意回环，反映了诗人内心的波澜，以颇为沉重的情调引起全诗。
次四句承上文“归沧浪”写归程中的苦闷心情。诗人在秋日辞京远行，一路唯见寒霜遍地，这景物衬托了诗人失意时的心灰意冷。在归程中，诗人特别突出“昨夜”之“梦”来加以描写，借以表现对“故山”的留恋，而故山却是“惠草色已黄”。如同“鹅鶬昨夜鸡，蕙草色已陈”（《暮秋山行》），“颍阳秋草今黄尽，醉卧君家犹未还”（《醉题匡城周少府厅壁》）等等诗句一样，表现出岁月已晚，宿愿难酬的叹息，也反映出进退两难的心境。
诗的以下八句承上继续写归程，而扣应题目“由大梁”，写到大梁后所见。诗人选定“薄暮”这一时间，有可能是写实，但也有以薄暮景色衬托沉重心情的用意。“仲秋萧条景”一句对大梁所见作了总的概括。以下便选择一些典型景物来写这样一个秋日薄暮的“萧条景”：南飞的鸿雁，阴暗的郊野，秋风和茅草，野火和枯桑，把大梁秋日的薄暮渲染得分外冷落凄凉。“长风吹白茅，野火烧枯桑”两句用极自然的语言极平常的形象，勾划出深秋郊野的典型环境诗人焦虑郁闷，百感交集的情怀通过这幅图景含蓄地烘托出来。
诗的最后四句，称赞故友声名，赠玉壶以慰勉朋友要像玉壶之冰为官清正廉洁，呼应题目“奇”字。
诗人西去长安干谒，失意东归，情绪十分低沉。此间的诗作中不止一次地对此有所抒发，如“云送关西雨，风传渭北秋，孤灯燃客梦，寒杆捣乡愁”（《宿关西客舍寄东山严许二山人》），如“妇姑城南风雨秋，妇姑城中人独愁”（《醉题匡城周少府厅壁》）等等。《由大梁却寄匡城主人》一诗所表达的也是这种仕途失意后的低沉郁闷。从表现上说，这篇作品与上引诗句一样，多以景习情，显得十分含蓄而又深沉。
胡曾用四句诗概括了当年项羽乌江自刎的情景表达着对他无限的敬仰与同情，分析了项羽当时耻于过江的心理活动，展现了项羽义重如山，视名节重于生命的人格之美。他以自己的生命实践了儒家“杀身成仁”、“舍生取义”的道德信条。他宁死不屈、义重如山的精神品格感动着无数的后人。
人们在诗歌中表达着对他深深的敬仰与感动。 胡曾能以浅近之辞，表达历史上可歌可泣之事，为的是颇能谐合一般民众的口味，故得以传诵不休。胡曾的咏史诗虽然不像杜牧那么别出新意，也没有李商隐的隐然寄托，但是因为通俗易懂，加上概括史事性强，所以从唐五代至明清，被作为儿童训蒙读物，影响广泛。
“居延城外猎天骄，白草连天野火烧”，写居延关外长满白草的广阔原野上燃起了熊熊猎火，吐蕃正在这里进行打猎活动，这是紧张局势的一个信号。写打猎声势之盛，正是渲染边关剑拔弩张之势。这两句诗很容易使人联想起高适《燕歌行》“单于猎火照狼山”之句，古诗中常常以“猎火”来暗指战火。
“暮云空碛时驱马，秋野平原好射雕”，进一步描写吐蕃的猎手们在暮云低垂，空旷无边的沙漠上驱马驰骋，在秋天草枯，动物没有遮蔽之处的平原上射猎。这一联象两幅生动传神、极具典型意义的塞上风俗画，写出吐蕃健儿那种盘马弯弓、勇猛强悍的样子，粗豪雄放；也暗示边情的紧急，为诗的下半部分作了铺垫。
“护羌校尉朝乘障，破虏将军夜渡辽。”这两句，对仗精工，很有气势。“护羌校尉”和“破虏将军”都是汉代武官名，这里借指唐军将士。登障堡，渡辽河，都不是实指，而是泛写，前者着重说防御，后者主要讲出击，一个“朝”字和一个“夜”字，突出军情的紧迫，进军的神速，表现了唐军昂扬奋发的士气，雷厉风行的作风。此联对军事行动本身没有作具体的描写，而只是选取具有曲型意义的事物，作概括而又形象的叙说，就把唐军紧张调动，英勇作战，并取得胜利的情景写出来了，收到了词约义丰的艺术效果。
“玉靶角弓珠勒马，汉家将赐霍嫖姚。”“汉家”借指唐朝，“霍嫖姚”即汉代曾作过嫖姚校尉的霍去病，借谓崔希逸。这两句是说，朝廷将把镶玉柄的剑，以角装饰的弓和戴着珠勒口的骏马，赐给得胜的边帅崔希逸。在诗尾才点出赏功慰军的题旨，收结颇为得体。
前四句写边境纷扰、战火将起的形势，刻画形象，有声有色，是实写；后四句便采用虚写，写唐军针对这种紧张形势而进行军事部署。此诗写得很有特色，它反映当前的战斗情况，用两相对比的写法，先写吐蕃的强悍，气势咄咄逼人，造成心理上的紧张；再写唐军雍容镇静，应付裕如，有攻有守，以一种压倒对方的凌厉气势夺取最后的胜利。越是渲染对方气焰之盛，越能衬托唐军的英勇和胜利的来之不易，最后写劳军，也就顺理成章，水到渠成，只须轻轻点染，诗旨全出。
此诗运用了对比的写法，前四句写敌人的勇悍和嚣张气焰，意在反衬出大唐守边将士不畏强敌，敢于战斗，敢于胜利的精神。借用“护羌校尉刀、“破辽将军”、“霍嫖姚”典故比喻将能卒勇，比直接描写更能启发读者，更有余味之感。