“道是梨花不是。道是杏花不是。”发端二句飘然而至，虽明白如话，但决非一览无味，须细加玩味。词人连用梨花、杏花比拟，可知所咏之物为花。道是梨花——却不是，道是杏花——也不是，则此花乍一看去，极易被误认为梨花，又极易被误认为杏花。仔细一看，却并非梨花，也并非杏花。因此可知此花之色，有如梨花之白，又有如杏花之红。
“白白与红红”紧承发端二句，点明此花之为红、白二色。连下两组状色的叠字，极简炼、极传神地写出繁花似锦、二色并妍的风采，也暗指它风韵别具一格，既有梨花之白，又有杏花之红，白中带红，如佳人冰雪肌肤微露红晕，有娇羞之态。 “白白”、“红红”两组叠字，简练、传神，使人如亲眼目睹红粉交错、繁花满枝的娇妍景致。
“别是东风情味”上句才略从正面点明花色，此句词笔却又轻灵地宕开，不再从正面著笔，而从唱叹之音赞美此花之风韵独具一格，超拔于春天众芳之上。实在少此一笔不得。可是，这究竟是一种什么花呢？
“曾记。曾记。人在武陵微醉。”结笔仍是空际著笔，不过，虽未直接点出花名，却已作了不管之答。“曾记。曾记”，二语甚妙，不但引起读者的注意，呼唤起读者的记忆，且暗将词境推远。“人在武陵微醉”，武陵二字，暗示出此花之名。陶渊明《桃花源记》云：武陵渔人曾“缘溪行，忘路之远近，忽逢桃花林，夹岸数百步，中无杂树，芳华鲜美，落英缤纷。渔人甚异之，复前行，欲穷其林”，终于来到世外桃源。原来，此花属桃源之花，花名就是桃花。句中“醉”之一字，写出此花之为人所迷恋的感受。词境以桃花源结穴，馀味颇为深长。它可能意味着女词人的身份（宋词习以桃溪、桃源指妓女居处），也可能有取于桃花源凌越世俗之意。
此词所咏为红白桃花，这是桃花的一种，“桃品甚多……其花有红、紫、白、千叶、二色之殊。”（明李时珍《本草纲目·果部》）红白桃花，就是同树花分二色的桃花。北宋邵雍有《二色桃》诗：“施朱施粉色俱好，倾城倾国艳不同。疑是蕊宫双姊妹，一时携手嫁东风。”诗虽不及严蕊此词含蕴，但可借作为此词的一个极好注脚。
此词绝不同于一般滞于物象的咏物词，它纯然从空际著笔，空灵荡漾，不即不离，写出红白桃花之高标逸韵，境界愈推愈高远，令人玩味无极而神为之一旺。就艺术而言，可以说是词中之逸品。
这是一首单相思的词，唐诗宋词中思春、渴慕、怀人的内容非常丰富，但大多数情况下都会明写或暗示男女二人曾经心心相映，正处于或者曾经有过一段共处的美好时光，此词却迥然不同，完全不提两人之间的关系，而且有意无意地暗示，词中主人公本是单相思，一副少年怀春的徘徊、惆怅之态。词的开篇先写景，并以景物来点明季节性，更以季节性来引出内心情感，从飞絮、开花可知，此为春深之时，暗示此为思春、怀春的季节。写完树木以后，似有意，似无意，加上一句“树底人家朱户”，自己所渴慕之人便在此宅之中，但是并不明写“朱户”即红漆大门。
上阕写春日美景。在古代，原木只有王侯功臣才能受赐门涂红漆，但随着礼法的废弛，普通官宦大户也均可照此办理了。词人爱慕上了这街南树下某大宅中的女子，面对大户人家不敢造次，心情亢奋、激动，而又紧张、忐忑，一片少年心绪不敢明言，只能先说树，再说树下人家，却始终不敢吐露所恋慕的对象究竟是谁。于是他“北楼闲上，疏帘高卷，直见街南树”，“闲”字本意为闲暇，指无目的地随意为之，但词人之上北楼，绝对是有明确目的的，是为了能够看到所恋慕女子的身影，但因为紧张和羞涩，所以故作闲暇状，假装是无事登楼，卷起竹帘来随意眺望，所见的，也不过绿树而已。假装登楼望树，其实是想见所恋慕的女子，希望她能够走出朱漆大门，她袅娜的身影可以再次落入自己眼中。可惜等了很久，却始终未能如愿——“阑干倚尽犹慵去”，每一寸栏杆几乎都靠遍了，还是见不到她，对爱的人，想要离去却不甘心。
下阕表达物是人非的怀旧之情和万般感慨。“慵”字本意为懒散，“慵去”就是懒得离开，其用意也和上阕的“闲”字相同，假装只是犯懒而不曾离去，其实是夙愿难偿而根本不忍离去。词人就这么等了一天又一天，从白天等到黄昏，又从春深等到春尽，“黄昏雨”既表时辰，也表季节，所谓“雨轻风色暴，梅子青时节”，一转眼夏季即将到来了。始终望不见心爱之人的身影，词人实在是等不下去了，干脆出门上马，在街上游荡，希望能得到“偶遇”的机会。“晚春盘马踏青苔”，“盘”字用得佳妙，表示词人骑着马只是原地转圈，并非真的要出门办事，同时也体现出忐忑、徘徊的惆怅心态，又等了很长时间，仍然未能如愿，他干脆连马都不“盘”了，而改之为“驻”，也即停在原地不动——“曾傍绿阴深驻”。然而他最终如愿了吗，却只见“落花犹在，香屏空掩”，人去楼空，仿佛唐代崔护之涛：“人面不知何处去，桃花依旧笑春风。”也正如崔护此诗前面所写：“去年今日此门中，人面桃花相映红。”词人与所恋慕的女子，应该也就这般地见过一两面吧，全词中并没有丝毫透露是否更有深交，而完全是单方面的思恋。
此篇以三幅不同的景象，将词人对佳人的眷恋之情缓缓引出。词人没有直言相思、孤寂、幽怨，只用清新的词汇叙述着他记忆中的点点滴滴，感情含蓄而浓烈。