全诗八章，每章八句。首章以呼天自诉总起，先言“我独于罹”的忧伤和悲痛。作者以“弁彼鸒斯，归飞提提”的景象为反衬，以“民莫不谷，我独于罹”为对比，以“心之忧矣，云如之何”为感叹，充分揭示他内心沉重的忧怨之情。他无罪被逐，只有对天呼喊：“何辜于天？我罪伊何？”第二章就他放逐在外的所见景象，抒发自己内心的伤感。平坦大道上生满了杂乱的茂草，象征他平静的生活突然产生了祸端。他愤怼悲伤，“惄焉如捣”，卧不能寐，“疢如疾首”，并容颜早衰，诗句形象地展示出他忧怨交织的心情。第三章叙述他孝敬父母而反被父母放逐的悲哀。他虽然面对父母所栽的桑梓“必恭敬止”，对父母怀有恭敬孝顺之心，但和父母的关系是“不属于毛，不罹于里”，所以只有无奈地归咎于上天：“天之生我，我辰安在？”语言极其沉痛。第四、五两章又以在外所见，叙述自己苦无归依、心灰意懒的痛苦心情。“菀彼柳斯，鸣蜩嘒嘒；有漼者渊，萑苇淠淠”，一片欣欣向荣的景象，而自己却“譬彼舟流，不知所届”；“鹿斯之奔，维足伎伎；雉之朝雊，尚求其雌”，多么欢畅而富有生机，而自己却“譬彼坏木，疾用无枝”。他孤苦一身，漂荡无依，其内心的痛苦忧伤，别人是无法理解的，更见逐子失亲的悲痛。第六章埋怨父亲残忍，不念亲子之情。他说，野兔投网还有人放走它，人死于道路还有人埋葬他，而父亲忍心放逐自己，只有使自己“涕既陨之”了。第七章指责父亲，揭示出了被逐的原因。他指出，“君子信谗”，不仅“不舒究之”，反而“如或酬之”，结果颠倒了是非、曲直，“舍彼有罪，予之佗矣”。于是，诗人的内心也由“忧”进而“怨”了起来。最后一章，进一步叙述自己被逐后的谨慎、小心而警戒的心情。他感到他的灾祸背景就像山泉那样高深难测，因而警惕自己“无易由言”。因为“耳属于垣”，会随时让坏人抓住把柄、进谗陷害。但这四句，又有些痛定思痛的意味，既求告人们不要再去触犯他，又心灰意懒地感到后事难卜、前途渺茫。这四句亦见于《邶风·谷风》，可能是当时习用之辞，是自己特殊境遇中复杂心情的比拟说法。由此可见，这首诗以“忧怨”为基调，对自己被逐后的悲痛心情，反覆倾吐，进行了多角度、多层次的表述和揭示，感情沉重，言词恳切，致使忧怨哀伤之情充满纸上，具有较强的艺术感染力。
作者在抒发自己的思想感情时，采取了多样的艺术手法，或正面描述，或反面衬托，或即眼前之景以兴内心之情，或以客观事物的状态以比喻自己的处境。赋、比、兴交互使用，泣诉、忧思结合，内容丰富，感情深厚，给人以具体、形象的感受。
这是一首触景生情之作。境界苍凉，寄意深远。诗的首句中，“黄昏鼓角”写的是目所见、耳所闻，“似边州”写的是心所感。李益曾久佐戎幕，六出兵间，对边塞景物特别是军营中的鼓角声当然是非常熟悉的。这时，他登上汝州（州城在今河南临汝县）城楼，眼前展现的是暗淡的黄昏景色，耳边响起的是悲凉的鼓角声音，物与我会，情随景生，曾经对他如此熟悉的边塞生活重新浮上心头，不禁兴起了此时明明身在唐王朝的腹地而竟然又像身在边州的感慨。这个感慨既有感于个人的身世，更包含有时代的内容，分量是极其沉重的。这里虽然只用“似边州”三字淡描一笔，但这三个字寄慨无穷，贯串全篇。
首句是从空间回忆那遥远的边塞生活；接下来，第二句“三十年前上此楼”则是从时间回忆那漫长的已逝岁月。这句看来很平常，而且写得又很简单，既没有描绘三十年前登楼的情景，也没有叙说三十年来人事的变化；但字里行间，感慨系之，联系上一句读来，正如孙洙在《唐诗三百首》中评杜甫《江南逢李龟年》诗所说，“世运之治乱，年华之盛衰，……俱在其中”。
据近人考证，这首《上汝州郡楼》诗大约写于公元804年（唐德宗贞元二十年）李益五十七岁时，由此上溯三十年，其第一次登楼大致在他登进士第后做华州郑县簿尉期间。试考察他两次登楼间隔期间所发生的事情：就作者个人经历而言，他在郑县过了几年郁郁不得志的簿尉生活，又远走边塞，先后在朔方、幽州、鄜坊、邠宁等节度使幕下过了长时期的军旅生活；就时局变化而言，唐王朝愈来愈走向没落，藩镇割据的局面愈来愈积重难返，代宗、德宗两朝，不但河北三镇形同异域，淄青、淮西等地也成了动乱的策源地。在公元783年（德宗建中四年），汝州曾一度被淮西节度使李希烈攻陷；当李益第二次过汝州时，淮西之乱也还没有平定。三十年的变化是如此之大。他旧地重来，想到此身，从少壮变为衰老；想到此地，经受干戈洗礼，是腹地却似边陲。城郭依旧，人事全非。这时，抚今思昔，百感丛集，忧时伤世，万虑潮生，不能不既为岁月更迭而慨叹，又为国运升降而悲怆。这就是诗人在这首诗里紧接着写出了“今日山川对垂泪”这样一句的原因。
这第三句诗，会使人想起东晋过江诸人在新亭对泣的故事以及周顗所说“风景不殊，举目有江山之异”的话，也会使人想起杜甫《春望》诗中那“国破山河在”的名句。而在李益当时说来，这面对山川、怆然泣下的感触是纷至沓来、千头万绪的，既无法在这样一首小诗里表达得一清二楚，也不想把话讲得一干二净，只因他登楼时正是秋天，最后就以“伤心不独为悲秋”这样一句并不说明原因的话结束了他的诗篇。自从宋玉在《九辩》中发出“悲哉秋之为气也，萧瑟兮草木摇落而变衰”的悲吟后，“悲秋”成了诗歌中常见的内容。其实，单纯的悲秋是不存在的。如果宋玉只是为悲秋而悲秋，杜甫也不必在《咏怀古迹五首》之一中那样意味深长地说“摇落深知宋玉悲”了。这里，李益只告诉读者，他伤心的原因“不独为悲秋”，诗篇到此，戛然而止。而此诗篇外意、弦外音只能留待读者自己去探索。
这篇散文可分四段。第一段写长江汪洋诞漫，突出其“壮’’，与下文狭小的游鲦亭作一对比；第二段写兄之为人，突出其胸中之“壮”，本该有“壮者之乐”，这与下文的舍弃壮者之乐又成对比。以上两段，均为下文表现兄的品格作了铺垫。第三段写兄于方寸之中“反以为乐”，与王敦慷慨悲歌，渴望建功立业的情感相通；第四段是对前文的归结与收束，用对比、反问、反诘等手法，突出“壮”“勇”“乐”“适”等词语，文气流畅，笔调俊朗，感情充沛，面对困于位卑而怀浩然之心的“吾兄”，赞美是热烈而真诚的。
文章开篇，作者没有直接去记叙游鲦亭的情况，而是先记叙了长江的历史、起源及宏伟的气势。“禹之所治大水七，岷山导江其一也”，首句先交待了长江的悠久历史及长江的起源，当然作者关于长江起源的观点在今天看来显然是错误的，但当时的人就是这样认为的，对此不能苛求于古人。接下来的，“江出荆州，合沅湘，合汉沔，以输之海”几句，一方面交待了长江的流向及所经之地，另一方面也写出了长江包容百川的气概。接着，作者正面描写了万里长江的宏伟景观：“其为汪洋诞漫。蛟龙水物之所凭，风涛晦冥之变怪”。几句话就把长江那种汪洋浩瀚，放纵汗漫之势及其变幻莫测、奇特非凡的气派描写了出来。最后，作者用“壮哉！是为勇者之观也”作结，说明如此壮观的景象，正是勇武之士所喜欢观赏的。文章开篇似乎是文不对题，既然标题是《游鲦亭记》，但作者一笔也没有点到游鲦亭，反而大写与文题毫不相关的长江气势，似乎不可思议。实际上，这正是该文不落俗套的高超之处，读者非读完全文，不能领悟作者的用意。
第二段主要介绍了游鲦亭主人，也即作者的同父异母兄欧阳昺（字晦叔）的抱负及境遇，同时作者也发表了对人生观的看法。首先作者以简炼的语言介绍了欧阳的为人及其抱负，称他“为人慷慨，喜义勇，而有大志、能读前史，识其盛衰之迹，听其言，豁如也”，由此可知游亭主人是一个胸怀大志、慷慨豁达、喜讲义勇、精通历史的有胆有识之士。然而他在仕途上却很不得意，长期在荆州担任地位卑下的小官，没有机会施展其才能，以致老大无所成就。故作者称其“困于位卑，无所用以老”，接下来的一句“然其胸中亦已壮哉”，说明欧阳昺虽身处因境，然而依然豁达、开朗、乐观、自信。这正是作者在全文中要表彰的那种随缘自适、随遇而安的超然物外的生活态度。
接着，作者举出了一个通常的现象“夫壮者之乐，非登崇高之邱，临万里之流，不足以为适”。这里所说的“壮者之乐”，照应了开篇所讲的勇者之观，所谓临万里之流”，就是要观赏开篇所描述的万里长江的宏伟景象。至此可以明白作者在开篇中铺叙长江气势的用意。然而游鲦亭主人的兴趣恰恰与之相反，他家居荆州，临近长江，却“舍汪洋诞漫壮哉勇者之所观，而方规地为池，方不数丈，治亭其上，反以为乐”，守着一汪方圆不过几丈的池塘，自以为乐，而不愿去观赏浩荡长江的宏伟景观。既然作者称他是身处困境“然其胸中亦已壮哉矣”，然而这还看不出来有勇者、壮者的乐趣。针对这些疑问，作者阐发了对什么是“真勇“的看法。作者认为，游鲦亭主人虽“困于位卑”，然每日“击壶而歌”“解衣而饮”，忘却人世间的高贵贫贱、荣辱毁誉，“陶乎不以江洋为大，不以方丈为局”，“视富贵而不动，处卑困而浩然其心”，这种超然物外的态度，才真正称得上心胸开阔，能够做到这一点的人，才算是“真勇者”，显然，欧阳昺的处世态度深受老庄思想的影响，庄子就曾主张对富贵，贫贱，得失，毁誉等容易引起人们苦恼的各种社会现象，最好采取忘却的态度，这样就能得到精神解脱。欧阳昺无疑向这个方向做了努力，因此他能不以官小为悲，“困于位卑”而能自得其乐。在作者看来，衡量勇与非勇，不能仅仅依据其是否喜欢“勇者之观”“壮者之乐”，关键在于视其能否“不以物喜，不以已悲”，达到超然物外的境界。
接着，作者点明了“游鲦亭”命名的原因。由于欧阳昺已经达到了“真勇者”的境界，因此在他看来：“方丈”水池虽小，然而水波粼粼，游鱼自由自在游动于其中，坐在亭中观赏，也很悠然自得。不必非要去观赏蛟龙出没、变化莫测的长江景象。身处其境，欧阳昺自然而然联想到《庄子·秋水篇》中的一段记载：“庄子与惠子游于濠梁之上，庄子曰：“鲦鱼出游从容，是鱼之乐也。同时也联想到自己的境遇：久为荆州小吏，犹如池中之鱼，虽不能施展抱负，但却可以自得其乐，因此命名其亭为“游鲦亭”，作者借此叙述，一方面阐发了凉亭主人命名其亭的用意，另一方面对欧阳昺这种“知足常乐的人生观表示了充分的肯定。最后一句交待了这篇“记”体文章的写作时间及地点，为一般“记”体文的常则。
这篇小记，通过记叙游鲦亭主人的抱负、境遇及个人的兴趣，展现了主人“视富贵而不动，处卑因而浩然其心”的思想情怀，赞扬了那种不计荣辱、超然物外的旷达的人生态度。
这篇文章结构严谨、层次分明，前后照应，开篇别具匠心。《游鲦亭记》名为记亭，但通篇很少具体去描写游鲦亭本身及周围的景观，笔墨重点放在展现游鲦亭主人的思想情怀及阐发作者的见解上，这是其艺术特点之一，其次，作者还普于运用烘托对比的手法，开篇即竭力渲染长江的宏伟气势，其目的是为了衬托欧阳昺园池之局促，借以表达其不以汪洋为大，不以方丈为局豁达的人生态度。