这首词写对杭州西山的回忆。上片以“三伏似清秋"写出灵隐寺、玲泉亭古木参天，凉爽宜人；下片以白猿攀树，长啸远去，写灵隐山冷清幽静，最后以画不如真景，反衬灵隐山峰峦之美。该词词意含蓄沉稳，绘景采用白描、想像和反衬等表现手法，清幽神奇，自然美感。
“长忆西山”，起句点明题旨，然后直接进入回忆。“灵隐寺前三竺后”句用两个地名词和两个方位词，带出了寺前山后的一切风景点。后来苏轼《灵隐前一首赠唐林夫》诗用“灵隐前，天竺后，两涧春淙一灵鹫”来写此间景物，便是脱胎于潘阆的。“冷泉亭上旧曾游”，冷泉在灵隐寺前。上句是远景大景，这句是近景小景；在展现了广阔的背景以后，再专门回味游览冷泉这一名胜时的情形，自然也有举一点以见全貌的作用。以上两句是全篇中唯一正面写景的地方，但句中只标明地点方位和说明旧日曾经亲游，至于这里的风景到底怎样美好，作者却不直说。这样写可以让读者驰骋想象，他们有可能填补出比任何笔墨、色彩都多得多、美得多的景象来，这是艺术空白的妙用。“三伏似清秋”，意思是说在这里游憩，即使酷热的三伏天也如清爽的秋日。如果说前两句写景只点出景在哪里，是使用了艺术的拙笔的话，那么这一句在无边的美景之，上精心捕捉山光物态的神韵，则使用了艺术的巧笔。
下片“白猿时见攀高树，长啸-声何处去”，这两句是想象。冷泉亭左侧有呼猿洞，相传晋代僧人慧理曾蓄白猿于此。这两句虚事实写，更添了西山灵气。从内容上看，作者在这两句中似乎还在通过白猿的长啸而去，怀念杳无踪迹的慧理，然后再通过对慧理的追缅，遥寄自已许身湖山、与猿为侣的愿望。“别来几向画图看，终是欠峰峦”，意思是说:别后因为甚思西山而不可得，只好找来西山的画图频频观看，但那上面终究找不出真山峰的美质来。这里用图画作为反衬，西山的灵姿秀气因此更为突出了。“欠峰峦”，指缺少峰峦，实际上是说没有好的峰峦。“画阑，说在诗人所处的地方多次凭阑而望，终是看不到西山那些优美的山峰。这样当然也通，但少了西山比图画更美丽这层意思。
这首词抒写作者对杭州西山的深挚眷恋，表达方法含蓄隐曲，选词炼句也以不露机锋为主，因而词风可入沉稳一路。此外，词中写景，交替使用了白描、绘神、想象、反衬等多种方法，可是偏偏不去用力刻画西山的具体形象。这种写法，虽然不像精雕细刻的风景诗文那样，能够让人以读当游，然而作者却便于利用自已强烈的感受去感染读者，引起读者的共鸣，以至产生急欲亲往一游的迫切愿望，因而别有一种艺术效果。
上阕追叙当时情景，尤能以寥寥数字传出歌女神情，栩栩生动。首句点时点地并点事。二、三两句写歌女神情，泪水冲洗着脸上的敷粉，而之所以“偷匀”者，怕席上诸人看出泪痕之故，仅此一句，已写出了歌妓那强颜欢笑以助人取乐的可怜处境。然而，尽管强颜欢笑，终于掩不住内心的辛酸，待得一曲歌罢，就更止不住愁情外露，这便是所谓“歌罢还颦”。从这里可以看出，作者对当时月下所见的这位歌女，既有喜爱之情，更多同情之心，缘此之故，就更想看得真切一点，可惜隔席而坐，缕缕炉烟遮挡了视线，以至于如今回想起来，只能记得一个朦胧的形象。
值得注意的是，作者对歌妓命运的同情是一贯的，如其《玉楼春》词云：“清歌学得秦娥似，金屋瑶台知姓字。可怜春恨一生心，长带粉痕双袖泪。从来懒话低眉事，今日新声谁会意。坐中应有赏音人，试问回肠曾断未？”看来作者每每就是那“坐中”“赏音人”，亦每每为她们的不幸而感怀伤神，这不难理解，因为作者自己就是一个“人百负之而不恨，己信人终不疑其欺己”的“痴人”。
下片写别后相忆，亦抒发自家身世之感。当时月下相见，犹恨未能看得真切，不意此后再也无缘相见，恍惚之间，竟是数年。这里，用了“几换青春”四字，意义双关，表面是说已过春光几度，暗里亦有“树犹如此，人何以堪”的感喟，字里行间，继续流露出对歌妓命运的关怀。接下自抒厌倦尘世之感，因有“一肚皮不合时宜”，所以颇引这“一春弹泪说凄凉”者为同调，那么，“长记楼中粉泪人”，就多少是由于“同是天涯沦落人”的缘故了。