此词起首二句忆旧游：“与鸥为客，绿野留吟屐。”上言作鸥鸟的朋友，下言此处园林曾留下自己的足迹。姜夔曾以“冷鸥轻燕”寄托自己的归隐之思，鸥鸟作为姜夔笔下经常出现的鸟类意象，它们所体现的绝不仅是归隐之思。透过鸥鸟的意象，可以体味出作者内心的多种情怀：欲隐无路之悲，怀人相思之苦，世事无常之叹。这里“绿野”代指钱氏园林。次二句点明此处园林风光出自钱良臣的手泽。“两行柳垂阴，是当日、仙翁手植。”“垂阴”连系“绿野”，形容风光清雅。“仙翁”指钱良臣，表明此宅来历，绾合词题。以下写园内风光：“一亭寂寞，烟外带愁横。荷苒苒，展凉云，横卧虹千尺。”“带愁”“寂寞”云云景中含情。
换头转入抒情。“才因老尽，秀句君休觅。”自叹年事日增，诗思减退，不必强求佳句，暗用江郎才尽故事，并与开头“吟屐”联串。“万绿正迷人，更愁入、山阳夜笛。”词意继续翻进，由叹老引发怀友。“万绿”迷人，易触发对培植绿色的“仙翁”的追念，更加听到凄切的“夜笛”之声，则缅忆之情力透纸背。接着推进一步，写思旧心绪深沉：“百年心事，惟有玉阑知。”上句包蕴丰厚，可以是宇宙、人生、今昔、存亡。下句“玉阑知”既形象又含蓄，见出白石凭栏默想，久久沉吟。收尾以记述返程归结。“吟未了，放船回，月下空相忆。”“月下”呼应题面，“空想忆”，思绪绵绵，言已尽而意无尽。
全篇上阕侧重纪游，下阕侧重抒感，在写景纪游笔墨中贯注着怀旧忆友之思。词为咏物词，然作者将身世之感融入所咏之物，家国之慨隐然寓于其中。
这首曲子的题目叫《秋思》，是一篇悲秋的作品。秋士易感，是中国文坛古老的传统。自屈原的《离骚》起一直延续到现在。《乐记》中说：“人心之动，物使之然也。”意思是外物使人内心的情意活动起来。那又是什么东西能让外物动起来呢？《诗品》云：“气之动物，物之感人，故摇荡性情，形诸舞咏。”他认为，这种能让物动，从而引起你内心感动的是‘气’。那气又是什么呢？古人认为，宇宙间有阴阳二气，是它们的运行才产生了天地万物和四时晨昏。譬如：夏天阳气最盛，所以草木茂盛。但盛到极点就开始衰落，阴气渐生，慢慢到了秋天和冬天。秋冬之际阴气最重，因而草木衰败。阴到极点又转为阳，阳生而万物长，所以春天就会百花齐放。由于四季的冷暖不同，自然景色也不同，人的内心也就随着这些变化而感动。春天草木的萌发让人联想到美好，所以引起喜欢的心理。秋天草木的凋零让人联想到生命的衰老与终结。因此会让人感到忧愁和悲伤。《离骚》中屈原叹道：“日月忽其不淹兮，春与秋其代序。惟草木之零落兮，恐美人之迟暮。”宋玉在《九辩》里说：“悲哉，秋之为气也！萧瑟兮，草木摇落而变衰……。”陆机《文赋》云：“悲落叶于劲秋，喜柔条于芳春。”虽然他们所处的时代不同，但他们的思想感情是相同的。
再看他的布景：“又是黄昏，一天快要结束。夕阳斜挂在山头欲落还留的样子，依依不舍得完成了一天的使命。眼前的景色真是满目凄凉，藤是枯萎的藤，已经没有了生命。树是千年老树，飒飒的西风在吹着它走向风烛残年。道是荒凉的古道，马是体弱无力的瘦马。飘零在天涯海角的人，面对如此萧瑟的景色怎么能不断肠呢。你看这小桥、流水、人家都是那么安详，那么静謚。又是那么温馨。而我的家乡、亲人却又离我那么远。哦，他们还好吗？天气渐渐变冷，他们加了衣服吗？买了被子吗？这一切的一切是都么让人牵挂。既然那么让人牵肠挂肚，我为什么不早点回去呢？为了所谓的前程吗？为了那所谓的功名吗？那功名离我近吗？远吗？京城的路还有多长呢？我又是那么的迷茫。在这样的黄昏中，在这样的古道上。又是这样萧瑟的季节。我是继续去追求功名呢？还是会去服侍那年老的双亲呢？我自己也不能回答自己。只好满怀愁绪徘徊在漫漫得古道上了……。”如此萧瑟的景色让人满目凄凉，又加上安详，温馨的小桥、流水、人家做反衬，使愁情更为深切，悲伤更为凄沥。写景之妙尽妙于此也！
再看他用字：“枯，老，昏，古，瘦，下一字便觉愁重十分，成一句已经不能自己。至于成篇可让人泣不成声也。最绝处在马之前下一‘瘦’字，妙在欲写人之瘦而偏不写人，由写马之瘦而衬出其人之瘦，其人之清贫。路途跋涉之艰辛。求功名之困苦。让人读之而倍感其苦，咏之而更感其心。读此曲而不泪下者不明其意也。
词中上片回忆与叶衡同游钟山，“独立苍茫醉不归，日暮天寒”，点明了具体地点与时间，“独立苍茫”、“日暮天寒”以苍茫无人来表明作者的孤寂，日暮天寒说明了环境的凄清，从而渲染了一种凄凉悲切的氛围，借陶渊明《归去来兮辞》的首句“归去来兮”，说明叶衡即将离开建康奔赴京城。“探梅踏雪几何时。”，回忆与友人当时一起在钟山上踏雪寻梅的经历，“雪”象征着纯洁，“梅”则象征着清高，傲岸的人格，词人与友人一起踏雪寻梅，则是说明两人志同道合，两人的友谊也是纯洁高尚的。“今我来思”和“杨柳依依”是《诗经·小雅·采薇》中的诗句，被作者直接引用，想象友人走后，自己一个人再来钟山那种“物是人非”的凄凉心境，化用即成的诗句，却毫无做作之感。
下片紧承“今我来思，杨柳依依。”“白石冈头曲岸西。一片闲愁，芳草萋萋。”几句，描写了友人离开以后的具体情景：白石岗依旧是长满了萋萋芳草，景色没有变，却没有同游之人，从而而心中充满了愁绪。“多情山鸟不须啼。”，则是对这种愁绪的强调——不用山中多情的鸟儿悲啼，心中自会惆怅不已。最后两句，引用《史记·李将军列传》中赞颂李广的话说明叶衡在建康的德政受到人们的称颂，叶衡本人也受到百姓的爱戴。