诗人见到檀道济故垒，回想檀道济被枉杀一事，顿生感慨，故首两句即以“万里长城坏，荒营野草秋”伤之，对檀道济的无罪被杀这一深悲极痛之事一掬同情之泪。然虽伤之，亦含赞颂景仰檀道济之意，此从将檀道济比喻为巍巍万里长城可见。这两句既是写景，又是抒发其沉痛情感。次句“荒营野草秋”，以眼前荒凉萧条之景寄托其悲凉沉痛之思。由于诗人心头别有一层现实的凄楚哀感在，因此一登旧垒，便有一种特殊的敏感，数百年前遭冤被害者的愤怒的抗议声立即在耳际回响。这种历史与现实在心头的交感共鸣，不是说明诗人的历史意识特别强烈，而是说明诗人需要借助历史来抨击现实，抒发积愤，悼念友人。诗人的友人王叔文是中唐的政治家。在唐顺宗支持下，他主持永贞革新，兴利除弊，曾使“人情大悦”。后来不幸被宪宗“赐死”。诗人认为这也是自坏长城。三，四两句化用民谣入诗。据作者自注： “史云：当时人歌曰‘可怜《白符鸠》，枉杀檀江州。‘”檀道济的被杀，尽管宋文帝给他罗列了一大堆罪状，但历史是公正的，人民的同情在遭冤者一边。这首民谣就是最好的证明。
全诗的言外之意是说，对于王叔文的无罪被“枉杀”，历史也会作出公正的判别，人民的同情也在王叔文一边。借古人的酒杯，浇心中的块垒，而又妙在不肯说破，遂使全诗意蕴深厚，寄慨无穷。
这是首典型的登临诗，与历来登临诗一样，分为二层，即登临所见、由登临而产生的感慨。诗无论是写景还是抒情，都波折多变，笔法灵活，用语清丽。同时，诗以五言写景，七言抒情，起首四句又杂以民歌体，活泼跳荡，用韵平仄交合，寓以变化。
开头四句，“起得峭拔”（纪昀语），直接点出登寺之所见，而省略了登寺的过程。更主要的，是暗示了并非登一次，所以才有“朝”“暮”之说。白天看吴山，但见蜿蜒起伏，所以说是“横”；晚上看吴山，只能在夜空中见出轮廓，所以说是“从”（纵）。这一表达方式，与著名的《题西林壁》中“横看成岭侧成峰，远近高低各不同”相似，可见作者观察的细致。如此写山，看似不具体，实则正如宋玉《登徒子好色赋》中对增之一分则太长，减之一分则太短，施朱则太红，傅粉则太白的“东家之子”的描写一样，可以充分调动读者的想象，表现出吴山之美。至此，写山题面已足，于是进而写阁。写阁不说其外部之壮丽和内部之清雅，而说“空洞无一物”，这就和题中的“寺”联系起来了。阁中当然不可能空无一物，但佛家宣称“四大皆空”，苏轼本人也曾在《送参寥师》中说过：“欲令诗语妙，无厌空且静。静故了群动，空故纳万境。”这实际上是对“幽人”即佛徒的赞美。
以下分别续足前面的意思，“春来”四句承接首四句，写由吴山之美惹动思归之心，因而觉得“秋悲春更悲”。“雕栏”四句承接次四句，写由朱阁之美联想雕栏易朽，致慨于光阴易逝，人生无常。这就由乐生悲，感情也显得低沉。但末二句又复振起，说人虽然与亭台池阁最终都将化为异物，但吴山长存，则诗人的精神亦长存，见出乐观和旷达，而这种乐观和旷达又暗与“幽人”数句相承，反映了佛家无生无灭的思想。这种思想可以和作者的《前赤壁赋》相对照。在那篇著名的赋里，作者借“客”之口写道：“方其（曹操）破荆州，下江陵，顺流而东也。舳舻千里，旌旗蔽空，酾酒临江，横槊赋诗，固一世之雄也，而今安在哉！”又由曹操写到普遍的人生：“哀吾生之须臾，羡长江之无穷，挟飞仙以遨游，抱明月而长终。知不可乎骤得，托遗响于悲风。”人们追求永恒不得，是一种永恒的、无法解脱的悲哀，对此，苏轼说：“逝者如斯，而未尝往也；盈虚者如彼，而卒莫消长也。盖将自其变者而观之，则天地曾不能以一瞬；自其不变者而观之，则物与我皆无尽也。”以不变的眼光看待物与我，就能超越具体的悲和喜，与大自然一样，达到永恒。《法惠寺横翠阁》的结尾所表达的，也就是这个意思。
这首诗，语言生动活泼，具有民歌色彩，而且在章法上还有其与众不同的特点：它通篇词意联属，句句相承，环环相扣，四句诗形成了一个不可分割的整体，达到了王夫之在《夕堂永日绪论》中为五言绝句提出的“就一意圆净成章”的要求。这一特点，人所共称。谢榛在《四溟诗话》中曾把诗的写法分为两种：一种是“一句一意”，“摘一句亦成诗”，如杜甫诗“日出篱东水，云生舍北泥。竹高鸣翡翠，沙僻舞鹍鸡”（《绝句六首》之一），属于此类；另一种是“一篇一意”，“摘一句不成诗”，这首《春怨》诗就是一个典型的例子。王世贞在《艺苑卮言》中更赞美这首诗的“篇法圆紧，中间增一字不得，着一意不得”。沈德潜在《唐诗别裁》中也说：“一气蝉联而下者，以此为法。”
但这些评论只道出了这首诗的一个方面的特点，还应当看到的另一特点是：它虽然通篇只说一事，四句只有一意，却不是一语道破，一目了然，而是层次重叠，极尽曲析之妙，好似抽蕉剥笋，剥去一层，还有一层。它总共只有四句诗，却是每一句都令人产生一个疑问，下一句解答了这个疑问，而又令人产生一个新的疑问。这在诗词艺术手法上是所谓“扫处还生”。
诗的首句似平地奇峰，突然而起。照说,黄莺是讨人欢喜的鸟。而诗中的女主角为什么却要“打起黄莺儿”呢？人们看了这句诗会茫然不知诗意所在，不能不产生疑问，不能不急于从下句寻求答案。第二句诗果然对第一句作了解释，使人们知道，原来“打起黄莺儿”的目的是“莫教枝上啼”。但鸟语与花香本都是春天的美好事物，而在鸟语中，黄莺的啼声又是特别清脆动听的。人们不禁还要追问：又为什么不让莺啼呢？第三句诗说明了“莫教啼”的原因是怕“啼时惊妾梦”。但人们仍不会满足于这一解释，因为黄莺啼晓，说明本该是梦醒的时候了。那么，诗中的女主角为什么这样怕惊醒她的梦呢？她做的是什么梦呢？最后一句诗的答复是：这位诗中人怕惊破的不是一般的梦，而是去辽西的梦，是惟恐梦中“不得到辽西”。
到此，读者才知道，这首诗原来采用的是层层倒叙的手法。本是为怕惊梦而不教莺啼，为不教莺啼而要把莺打起，而诗人却倒过来写，最后才揭开了谜底，说出了答案。但是，这最后的答案仍然含意未伸。这里，还留下了一连串问号，例如：一位闺中少女为什么做到辽西的梦？她有什么亲人在辽西？此人为什么离乡背井，远去辽西？这首诗的题目是《春怨》，诗中人到底怨的是什么？难道怨的只是黄莺，只怨莺啼惊破了她的晓梦吗？这些，不必一一说破，而又可以不言而喻，不妨留待读者去想象、去思索。这样，这首小诗就不仅在篇内见曲折，而且还在篇外见深度了。
如果从思想意义去看，它看来只是一首抒写儿女之情的小诗，却有深刻的时代内容。它是一首怀念征人的诗，反映了当时兵役制下广大人民所承受的痛苦。