这是一篇题画之作。诗人借对六朝古都金陵的感慨，抒发对晚唐现实的忧虑。
开篇便是望中之景。“曾伴浮云归晚翠，犹陪落日泛秋声。”当是秋风凄厉、秋叶凋零、秋虫哀鸣、秋水惨淡的交响。浮云归于暮山，将是白日的结束，落日悬浮于秋声，亦是一年的残景。凄凉的日之暮、岁之暮的景象，没能使诗人规避，反倒令他入迷。曾伴，犹陪，说明不是瞬间一瞥，不是短暂凭栏，更是痴痴地望着，一直追随着浮云走向消失的轨迹，久久陪伴着为秋声笼罩着的即将沉没的落日。这些常人不愿看、不忍看、更不敢久看的衰图残景，诗人却着魔般的沉浸其中，是反常的，也是耐人寻味的。
结合诗题标示的地点，联系三、四句吐露的心境，便知诗人有着难以言说的伤心在。浅层次讲是直面残秋薄暮的感伤，这一中国文人的习惯心理在敏感而哀乐过人的诗人身上更为突出深层次讲，是异质同构的彻悟触动的哀痛。此地曾是南朝六代建都之地。当年金陵，佳丽所萃，而今唯有废墟残景；追昔抚今，宦官专权、藩镇割据、战乱不已的晚唐王朝，不也危机四伏、摇摇欲坠。诗人悟出。历史上六个小朝廷昏庸无道的短命亡国。现实中晚唐王朝无可挽回地衰败下去，不也和自然的浮云落日一样。都是走向总崩溃的末日。这里确乎有异质同构的关系在。自然、历史和社会的种种悲慨涌上心头，笼罩天地，拂逆不去，浓得化不开，语言便显得笨拙无用，只有眼前景象才能诉说和接纳心中无限事了。但人与自然只能是心有灵犀的默契，不能表情达意的对话。再说，望中晚景可诉诸画笔，人尽可识，而自己久久郁积于心的伤感何由表现。世间无限丹青手，一片伤心画不成。”这是痛苦的呐喊，也是寂寞的呐喊。因为无论延请多少画师，都无法描绘出诗人难以排遣的伤心。“赖是丹青不能画，画成应遣一生愁”，然而终究画不成，诗人只能是“此恨绵绵无绝期”了。
本诗前二句在对浮云、晚翠等自然景象的描绘中，展示故都盛衰无常，隐含唐王朝正是国运陵夷之时。结尾两句，追昔抚今，百端交集，预感到唐王朝危机四伏，却无可挽回。诗人为此倍感苦恼，却又无能为力，只能将这种潜在危机归结为“一片伤心”，而这又是丹青妙手所无法表述出来的。诗婉转沉著，感慨遥深。
诗前小序，交代诗人为庾肩吾补作《宫体谣引》的缘由，说明诗篇抒写庾肩吾“潜难会稽”后的悲伤感受。
诗的开头两句描写宫廷荒凉的情景，壁上的椒粉已经发黄，成为野粉，宫殿里飞满湿萤，已经荒废，一派凄凉景象，正是“国势沦败”的艺术写照。三四句梦忆东宫生活，我本是台城里和皇子唱和诗歌的人，现在秋夜里还常梦见太子的车辇。诗的后半首，叙述肩吾愁苦衰老的近况，表达出甘守屯贱的意愿。“吴霜”，应会稽地望，“塘蒲”，点身已衰老，回想起离开宫门时，依恋不舍，怀念君德，甘愿遭受危难贫贱，“心如砥柱”，绝不变心。全诗不言悲而悲意充溢字里行间。
诗人探寻梁代庾肩吾的前事，应是叹恨那些曾任东宫官而后遭贬斥的人。诗人生活的时代，曾震惊朝野而备受大家关注的事件，便是永贞革新，革新运动参与者之中，确有人曾任太子李诵的东宫官。诗人叹恨他们事业受挫败，命运困厄，不胜感伤，便运用“离绝远去笔墨畦径间”的诗句，抒发悲叹他们不幸遭际的情思。诗人不能无言，又不敢明言，便寓今托古，比物征事，从而形成长吉诗诡异独特的风貌。
杜牧为李贺诗集作叙，以此诗与《金铜仙人辞汉歌》为例，赞叹道：“贺能探寻前事，所以深叹恨古今未尝经道者。”这篇叙是诠解《还自会稽歌》的指导思想。李贺能从二百多年前的庚肩吾“潜难会稽”这件在别人看来极平凡的小事中，塑造了一个流落失意、但又不失刚劲之气的“羁臣”形象，并借以抒发了自己对世事多变的感伤和困顿潦倒中的悲愤之情，构思新颖，立意奇特。杜牧把李贺的这类诗作誉之为“古今未尝经道者”，评价是很高的。杜牧在叙中还说：“求取情状，离绝远去笔墨畦径间，亦殊不能知之。”但结合庾肩吾的遭遇和李贺的身世，还是能看出些端倪的。
这首诗写得含蓄深沉。庾肩吾是宫体诗的代表作家，但不能说这首摹想庾氏情事的作品就是继承了宫体诗的传统，也不能据此诗而说李贺对宫体诗作者的怀念和向往。李贺不过是借和晚年的庾肩吾“心有灵犀一点通”的处境，来抒发自己的忧愤罢了。
这首诗首句“卷地风抛市井声”，承其一而来，写风吹市井喧闹之声自外传来，角度在自己，喧闹在别人。“卷地风”，语出韩愈《双鸟》诗“春风卷地起，百鸟皆飘浮”，但仅取其“卷地春风”之意；“市井声”，化用黄庭坚《仁亭》“市声鏖什枕，常以此心观”诗句，亦仅化出“市井声”一词；受陈师道《春夜》“风回晚市声”一语启发，着一“抛”字，状”市井”喧闹之声如在目前，顿使全句神采飞扬，活灵活现，充满春天的活力。次句“病夫危坐了清明”，读来令读者陡然一紧，与墙外市井之声的喧闹相反，诗人却自称“病夫”，而且“危坐”，那份拘谨，那份压抑，跃然纸上；尤其是一“了”字，更是透出了诗人充满遗憾且有所不甘的心情。其时，诗人名震朝野，众目所瞩，也有些许迹像看来于已不利，因此他只能努力压抑着自己，端坐高堂，不去游春。但身未动心却”飞，“抛”过来的市井之声时时喧闹着诗人之心。眼随心转，“帘晚日看收尽，杨柳微风百媚生”，无奈之下，只得眼盯着一帘之隔的窗外，看那一抹晚霞渐渐收起，杨柳吐绿的柔条，在微微春风中轻舞飞扬，婀娜多姿，百媚横生。虽此一窗春色，却已令诗人心旌摇荡。“百媚生”，语取白居易《长恨歌》“回眸一笑百媚生”，以人拟物，更见出杨柳春意。
“文似看山不喜平”，诗歌亦然。此诗虽短，却一波三折，写得摇曳多姿。加之语句畅朗，音节浏亮，风格俊爽，既有江西诗派锻字炼句的精工，又具有陶、谢、韦、柳妙契自然的神韵。