起句化用《九歌·湘君》“袅袅兮秋风”句。“山河举目虽异”二句，是用《世说新语·言语》中典故。东晋时南渡士大夫常到新亭聚游饮宴，周侯中坐而叹，说：“风景不吾，正自有河山之异”。皆相视流泪。作者登秋风亭时与东晋士大夫有同感，看到风景依旧，山河破碎，西风苍凉，因而无限感慨。以下“功成者去”二句也连用典。《战国策·秦策》：“蔡泽谓应侯日：‘四时之序，成功者去’。”“团扇”句出自《汉书·外戚传》，载班婕妤《怨歌行》：“新裂齐纨素，鲜洁如霜雪。裁为合欢扇，团团似明月。出入君怀袖，动摇微风发。常恐秋节至，凉风夺炎热。弃捐箧笥中，恩情中道绝。”这二句作者借以对宋廷排挤抗金爱国将领的作法表示不满。接下去作者看到，秋风中夕阳西下，可是当年大禹治水的遗迹已茫茫不见，无处寻觅了。据《史记·夏本纪》载，舜、禹时，洪水滔天，大禹与众决九川而致四海，天下为治，大禹即帝位后，东巡狩，至会稽而崩，至今绍兴会稽山有禹陵、禹庙。明末陈子龙曾有诗句：“禹陵风雨思王会，越国山川出霸才。”（《钱塘东望有感》）思念大禹的功迹，哀叹明之将亡。辛弃疾言外之意也是追忆大禹拯救陆沉的勋业，慨叹南宋无英雄人物能力挽狂澜。
下片依然在怀古，又提及历史上一位英雄君主。汉武帝巡行河东时作有《秋风辞》，说：“秋风起兮白云飞，草木黄落兮雁南归……”辛弃疾在秋风亭上联想《秋风辞》，不仅只是节令上的偶合。他借以缅怀汉武帝为抗击匈奴、强盛帝国所作的杰出功绩。这三句表面是说，汉武帝传颂千古的风流辞章，足可以与司马相如的辞赋媲美。这里似是赞扬汉武的文采，实是歌颂他的武略，暗指宋廷的懦弱无能。以下亦用《九歌》句：“帝子降兮北渚，目眇眇兮愁予。嫡娟兮秋风，洞庭波兮木叶下。”作者用此怅望江南半壁河山，缅怀大禹、汉武帝，情绪依然十分愤慨。以下句意一转，说：朋友们来信劝告我，不要留恋官场而忘记归隐。“莼鲈”用东晋张翰因秋风起思归故乡的典故，这里以友人来信的口气说出，还是弃官退隐吧。这是作者回顾历史以后，面对冷酷的现实所产生的心理矛盾。结尾却并不回答朋友，只是说：谁曾想到在这清凉的秋夜，我正挑灯攻读太史公书。《史记》其中一系列爱国英雄的纪传，如廉颇、李广等，效命疆场、威震敌胆且晚年倍受压抑，悲愤壮烈，曾深深激动辛弃疾夜读之心。这时辛弃疾64岁，其老骥伏枥之志不衰。
词中运用典故描绘秋天景象，并表现了怀念北方的爱国思想和在政治上遭受打击的悲凉情绪。篇末通过对友人的答话，表现自己不甘心于长期退隐，而积极关心政治，准备有所作为。
全诗四联均写景，无一句议论，无一句抒怀，但却弥漫着凄清的氛围，渗透着悲凉的情思。细细品味，如饮醇酒，回味无穷。
首联“秋夜访秋士，先闻水上音”奠定了全诗的感情基调。 “秋夜”本已凄清冷寂，而所访者又是“秋士”，更暗寓幽怨之意。古人云：“春女怨，秋士悲”。所谓“秋士”即谓暮年不遇者，借园主人当属此类。袁枚自己虽曾步入仕途，任过县令，但因升迁无望等原因，早于七年前辞官，隐居于南京小仓山随园。两人在感情上是相通的，诗人此行“访秋士”即是以此为前提的。当诗人步入借园，首先听到的“水上音”就是笛声。这笛声作为一种听觉意象是全诗的中心意象。它是借园主人心声的流露，感情的寄托。诗在首联引出“水上音”之后，中间两联即集中笔墨对其进行描写。但诗人并没有单纯地去描写笛声，而是以视觉意象“月色”及嗅觉意象“藕香”作为陪衬烘托，使笛声意味更加丰富感人。
颔联“半天凉月色，一笛酒人心”，乃是脍炙人口的名句。“一笛”指笛声，“酒人”指微醺的借园主人，他在借酒消愁之后，还嫌不足，又以笛声抒其情怀。在中国古诗中，笛声基本上都是幽怨悲哀的意象，这首诗中的“笛声”也不例外。“一笛酒人心”抒发的乃是“秋士”不遇的哀愁之心，而描写笛声在冰凉如水的月色中飘荡，仿佛笛声也浸透了清冷的月色，更增添了笛声凄怨的情韵。
笛声感情虽然哀怨，但借园主人吹奏技巧却十分高超，故颈联一转云：“响遏碧云凉，香传红藕深。”笛声嘹亮，仿佛阻遏了夜空中的碧云，同时水中飘来了红藕的幽香，与笛声交织往还，好像笛声也具有了香气。作者先闻“水上声”，既产生了感情的共鸣，又陶醉在音乐的享受之中，所以久久伫立，直到笛声结束，才想起要与友人相会。
尾联云：“相逢清露下，流影湿衣襟。”此联乃回应首句，当作者在秋夜听完友人的一曲笛声之后，终于迎来了与“秋士”的相逢之时，但他们却久久的相对无语，身影沉浸在流泻的月光下，显得格外宁静；他们的衣襟被清凉的窗露沾湿了，犹如他们的心灵也被凄清的笛声净化了一般。友人的心声已在笛声中倾诉殆尽，作为知心朋友，作者对此已经领会和理解，无须多问，亦不必多言，两人心灵达到了高度的默契。诗的收束像不尽的笛声的余音一样，让人回味无穷。
这首诗歌的主旨在于表现作者与李晴江作为知音的深厚友谊，诗中却无一语表达此意，只是写自己夜访友人听其“月下吹笛”时的景象与两人相逢时无言的情状，但自有一股感情之泉流注全篇，这也正体现了袁枚“凡作人贵直，而作诗文贵曲”（《随园夜话》）的诗论理念。
此诗塑造了一位地位虽有不同，但命运却与《卫风·氓》之主人公相似的可怜弃妇形象。她当初也许曾有过海誓山盟、夫妇相爱的短暂幸福。但随着秋来春往、珠黄色衰，“其心孔艰”（心思难测正如“氓”之“不三其德”、其心“罔极”）的丈夫，待她便“始者不如今”，粗暴取代了温柔，热恋化作了冷漠。丈夫回到家中，想到的只是上河梁去取鱼虾享用，而对操劳在室的妻子，则连“入”房中慰问一下的兴致都没有。他总是匆匆而来，又匆匆而去（大抵早已有了“外遇”罢）。说他事忙吧，他却能在庭中慢条斯理地油他的车；说他没事吧，却连“遑舍”（止息的闲暇）一夜的功夫都没有。好容易盼得他回来一次，却只给妻子留下暴虐相待的伤痛。想到命运之绳曾将自己和丈夫贯串在一起（“及尔如贯”），相互间理应亲如“埙”、“篪”相和的“伯”、“仲”（古时常以兄弟相亲喻夫妻相谐）；而今，丈夫竟连起码的夫妇之礼都不顾了，不能不激得女主人公悲愤难平。在长夜焦灼的“反侧”之中，她终于发出了愤切的诅咒：“为鬼为蜮，则不可得。有靦面目，视人罔极”——你真正是枉然生了一张人脸，心思的险恶莫测，简直胜过鬼蜮呵！
从诗之结语“作此好歌（因为歌意涉及男女之情，故称），以极反侧”看，此歌作于女主人公长夜难眠的“反侧”之际。诗虽也带有相当的叙事成分，但脉络并不清晰。在充满疑云的反覆诘问中，展出“彼”人的飘忽身影，又穿插进回忆中的种种生活片断，使全诗的结构显得似断非断、散乱飘忽。如果要找一个适当的词汇来说明此诗的表现特点，那就是两个字——“梦幻”。而这，大抵正与女主人公作歌时的“反侧”难眠状况有关。从诗中透露的消息可知，那位薄情丈夫对女主人公的冷遇，无疑已天长日久。每当她望眼欲穿盼其归来时，丈夫却总是迟迟不归；就是归来，也行迹诡秘、形同飘风，出没于庭院、鱼粱之际，只顾着自身的享受，极少有入房与妻子叙叙的诚意。一对往日的燕尔夫妻，竟变得如同陌路之人。这些景象，当然会深深烙在女主人公脑际而难以抹去。因此，当她辗转反侧之际、神思恍惚之中，往事今情便可能全化作散乱的片断，梦幻般地涌现在眼前。此诗正适应了这一特定背景，采用叠章和问句、跳荡不定和迅速转换的意象，表现了女主人公似忆似梦间的疑惑与惊诧、痛愤和哀伤。进入女主人公梦思中的对象，明明是她丈夫，她却似乎不认识他，开篇即以“彼何人斯”相询，正绝妙地传达了这种神思恍惚中的迷乱之感。后文的“胡逝我梁，不入唁我”、“我闻其声，不见其身”，更以扑朔迷离之辞，表现了唯有幻梦才带有的视听和思虑特点。女主人公刚想细细审视，幻境却又一变，车影、语声竟化作一团“飘风”，忽东忽西地卷向鱼梁去了；但转眼间，她又似乎看到，丈夫分明还在庭中，正如往日那样悠然自得地“脂车”呢。梦境的飘忽变幻，伴随着女主人公神思恍惚间的疑惑、惊惧、失望和愤懑，一起化作诗行涌现，便产生了这首奇妙、独特的弃妇歌。
“石镜山前送落晖，春残回首倍依依”，首句所写，是诗人对往日情事的回亿。遥送落晖，当日就不免年近迟暮、修名不立之慨；此刻回首往事，更添时光流逝、年华老去之感。句法圆融而劲健。
“时平壮士无功老，乡远征人有梦归”，颔联承上“春残”、“回首”，抒写报国无门之叹和思念家乡之情。作者从军南郑，本图从西北出兵，恢复宋室河山，但不到一年即调回成都，从跃马横戈的壮士变为驴背行吟的诗人。此时忽忽又已四年，功业无成，年已垂暮，因此有“壮士无功老”的感慨。宋金之间自从公元1164年隆兴和议以来，不再有大的战事，所谓“时平”，正是宋室用大量财物向金人乞求得来的苟安局面，其中包含着对南宋当权者不思振作的不满。既然无功空老，则不必远客万里，思乡之情也就倍加殷切，故说“乡远征人有梦归”。“无功”与“有梦”相对，情味凄然。
“苜蓿苗侵官道合，芜菁花入麦畦稀”，颈联富开写景，紧初“春残”，写望中田间景象。暮春时节，正是苜蓿长得最盛的时候，故有“苗侵官道合”的景象。芜菁一称蔓菁，开黄花，实能食。司空图《独望》诗有“绿树连村暗，黄花入麦稀”之句，该诗“芜菁花入麦畦稀”化用司空诗意。两句所描绘的这幅暮春图景，一方面透出恬静和平的意致，另一方面又暗含某种寂寥的意绪。
“倦游自笑摧颓甚，谁记飞鹰醉打围”，尾联总收，归到“倦游”与“摧颓”。末句拈出昔日“飞鹰醉打围”的气概，似乎一扬；而冠以“谁记”，重重一抑。顿觉感慨横溢，满怀怆然。昔年的雄豪气概不过更增此时的摧颓意绪罢了。
“春残”，在该诗里是触景增慨的契机；既是自然景象，又兼有人生的象征意味。通过对春残景物的描写，诗人把情、景、事，昔和今，自然与人事和谐地结合起来。