这首词上片写词人寓居的环境，表现词人归隐生活的冷清寂寞。下片高情于景，词人对生长在寂寞环境中的桃杏发出深沉的慨叹，寄托着自己内心的惆怅与不平。
词的上片写到寓居的环境有宽敞的庭院。洁净的小路，盘旋的溪水，呈现出一种淡泊宁静的村野生活情景。“百亩中庭半是苔”，百亩大的庭院有一半是青苔，说明这里已经很久没人来了，也表明主人公心情不好无暇打扫干净，烦事扰身，从侧面表现出由以前的门庭若市变成现在的无人问津，门庭冷落，显出几许苍凉和寂寞，营造了一种凄凉氛围。“门前白道水萦回”，门外沙子铺满了整条路，还有婉转的小溪流。如此优美、清闲的环境，本能吸引很多人来访，但是并没有人来，可惜了如此美景无人观。“爱闲能有几人来”，喜欢悠闲，有空来的人有几个。这是从正面描写凄清的场面，不禁让人感到惋惜，也从侧面说明主人公希望能有一两个知音懂得他此时的心情，希望他们能和自己分享这美景，可惜就是没有知音。
下片首句“小院回廊春寂寂，山桃溪杏两三栽”，春天到了，院子里曲折的回廊非常安静，山上的桃花开了，溪边的杏树，三三两两地种在一起。春天这里本该非常热闹，但现在如此寂静，桃花和杏树都无人观，孤独地伫立在春天里。此句从侧面突显出这里的寂静和苍寥，衬托出环境的落败。“为谁零落为谁开”，山里的桃花已经开放了，不知道它们是为谁开放，为谁凋零。再美又有什么用，哪里会有人来这里欣赏呢。这小园风情景物，寓意颇深。一场惊天动地的“变法”，其中酸苦，用“为谁零落为谁开”之问也十分贴切吗。这里词人以桃花自喻，表达自己也像它一样孤独，没有人问起，落寞之情溢于言表，反映环境的零落荒寂，令人唏嘘。这首词以问句结束，启迪读者思考词外之意，深化了词的内涵，扩大了词的表现空间。
这首词深刻地向我们展示了王安石晚年在山中的生活，是如此的孤独寂寞，虽然身处美景之中，却是孤身一人，没有知音。尽管如此，王安石还是用写景来表达自己的心情，寓情于景，对山中的美景颇为喜爱。总的来说，《浣溪沙》反映了王安石晚年的生活情趣，表达出他晚年“人走茶凉”的寂寞之情，此情颇为深沉、悲凉。