诗前小序，交代诗人为庾肩吾补作《宫体谣引》的缘由，说明诗篇抒写庾肩吾“潜难会稽”后的悲伤感受。
诗的开头两句描写宫廷荒凉的情景，壁上的椒粉已经发黄，成为野粉，宫殿里飞满湿萤，已经荒废，一派凄凉景象，正是“国势沦败”的艺术写照。三四句梦忆东宫生活，我本是台城里和皇子唱和诗歌的人，现在秋夜里还常梦见太子的车辇。诗的后半首，叙述肩吾愁苦衰老的近况，表达出甘守屯贱的意愿。“吴霜”，应会稽地望，“塘蒲”，点身已衰老，回想起离开宫门时，依恋不舍，怀念君德，甘愿遭受危难贫贱，“心如砥柱”，绝不变心。全诗不言悲而悲意充溢字里行间。
诗人探寻梁代庾肩吾的前事，应是叹恨那些曾任东宫官而后遭贬斥的人。诗人生活的时代，曾震惊朝野而备受大家关注的事件，便是永贞革新，革新运动参与者之中，确有人曾任太子李诵的东宫官。诗人叹恨他们事业受挫败，命运困厄，不胜感伤，便运用“离绝远去笔墨畦径间”的诗句，抒发悲叹他们不幸遭际的情思。诗人不能无言，又不敢明言，便寓今托古，比物征事，从而形成长吉诗诡异独特的风貌。
杜牧为李贺诗集作叙，以此诗与《金铜仙人辞汉歌》为例，赞叹道：“贺能探寻前事，所以深叹恨古今未尝经道者。”这篇叙是诠解《还自会稽歌》的指导思想。李贺能从二百多年前的庚肩吾“潜难会稽”这件在别人看来极平凡的小事中，塑造了一个流落失意、但又不失刚劲之气的“羁臣”形象，并借以抒发了自己对世事多变的感伤和困顿潦倒中的悲愤之情，构思新颖，立意奇特。杜牧把李贺的这类诗作誉之为“古今未尝经道者”，评价是很高的。杜牧在叙中还说：“求取情状，离绝远去笔墨畦径间，亦殊不能知之。”但结合庾肩吾的遭遇和李贺的身世，还是能看出些端倪的。
这首诗写得含蓄深沉。庾肩吾是宫体诗的代表作家，但不能说这首摹想庾氏情事的作品就是继承了宫体诗的传统，也不能据此诗而说李贺对宫体诗作者的怀念和向往。李贺不过是借和晚年的庾肩吾“心有灵犀一点通”的处境，来抒发自己的忧愤罢了。
上片感慨“往事”千留不住。集中表现主人公对于时光流逝、好景美事永远消泯的无奈和怅恨。首二句，言季节变换如此之快，春来又秋去，“往事”却不知到何处寻觅。叹日月不居，时序循环，时间流逝，前事难寻。“往事”（从下片所述可知，这是指去年今日黄叶西风之中与情人在酒宴上的欢会）不可追，伊人不再来。这已经暗伏本篇的抒情主旨在内。后二句，承“春来秋去”而来，言秋光将逝，眼见燕子往南飞，幽兰带露，像是因悲秋而哭泣，主人公也黯然神伤，从心底无数次地发出挽留秋光的呼唤，但是毫无用处。“燕子归飞兰泣露，光景千留不住”，燕子于秋而飞归了，兰叶上凝聚露珠如泣泪，美好的光景即使千百次的挽留也牵不住，主人公深切地怀念“往事”，或许是佳人见不得，“燕子归飞”形象的比喻；深情地挽留秋光，时光更是留不得。那份怅恨与无奈，仿佛跟“兰泣露”似的。挽留“秋光”，正是要留住“往事”，留住“燕子”，期盼再与佳人相会。然而这一切都成空，能不愁吗。
下片，定格于闲阶梧桐下独自感伤的抒情主人公的特写镜头，既写其感伤的形貌，亦托现其感伤的内心。前二句补足上片，由景入情，穷形尽相，写其孤独之状，徘徊之态。喝酒，是为了留住景光，消释哀伤，可是，酒阑人散后，更感到空虚和惆怅。后二句直探心灵深处，揭示其心事重重的原因——对景怀人。表现了词人心灵深处长久的忧伤，黄叶西风，年年如是，自然界代谢是必然的规律，对着无法挽回的事物，他体认到人生的无常了。“去年今日”，“黄叶西风”，以今比昔，平添几分厚重之感，颇有几分耐人寻味之处。
这首词抒写别愁。此词特写镜头：“酒阑人散忡忡，闲阶独倚梧桐。”酒宴已经结束，热闹的场面不复，令人忧愁不安，无可奈何地倚靠着台阶旁的梧桐树发呆。这一孤独情景，既感慨从酒宴上得到的暂时慰藉，竟如此快就没了，反而加重了愁怨；使自己忆起“往事”，陷于深深的忧虑不安之中。于是，结尾直接抒写：“记得去年今日，依前黄叶西风。”脑子里清楚地记得，也是去年的今日，依然是秋季，西风劲吹，黄叶凋零的时候，与佳人相会分别，点出“秋愁”——惆怅情怀，是因忆旧怀人的缘故。
