此词是作者客居龟溪村，寒食节游览一废园时所见所感而作。词的上片写游园。开头三句点题，写废园风景。“幽”、“古”、“冷”三字，将废园的特征尽现。“斗草”二句见景生情，自伤身世。“自怜”三句，抒游园之感。下片写归思离愁和对废园的顾恋。“绿暗”两句，写“归梦”萦怀，不说柳絮引发归思离愁，却说归梦追逐柳絮，围绕着柳阴绿暗的长亭飘荡，传达出作者内心的凄清冷寂。唐圭璋在《唐宋词简释》中分析：“此首游园之感，文字极疏隽，而沉痛异常。起记游园，次记园中所见。“有情”三句，收合‘游’字，化无情为有情，语挚情浓。全词写景清丽有致，抒情婉转清畅。
从词题看，此词是吴文英作客龟溪，在寒食节春游时所写。龟溪在浙江德清县，古名孔愉泽，即余不溪之上流。而废园，是当地一个荒芜冷落的地方，本已被词人遗忘，但词人却在这繁华衰歇之地度过了寒食节。废园地也曾有过繁华兴盛的时候，身处其中，自然会生出今昔盛衰之感，由此作者又联想到自己的身世，二者相互衬托，融为一体。词人黯然的思乡之情就是在四周清幽的环境描写中逐步流露出来的。
词的开篇即写废园之景。词人进入园中，但见野花自在地散发着幽香，引他伸手去采摘；丛竹掩映的小径，由于人迹罕至而长满青苔，显得那样清冷凄寂。这样的景色，不用明言，即是一个废园之景，梦窗未用“废”字而写出荒废之景，是其高明之处。
词人漫步来到龟溪之畔，四顾无人，但是沙滩上却留着女子的脚印（小莲步），还有许多弃掷在地的花草，春来废园亦不是无人光顾，散落的花草和女子脚印这充满人间气息的景象引起人的诸多遐想。也使作者意识到由于是寒食节，当地女子曾来这儿踏青斗草。寒食节踏青斗草是当时习俗。眼前所见，引起作者一系列的遐思。自己远别亲人，客居他乡，逢此节日，不能不触动愁绪，由此又引出下面“自怜”三句词意。
“自怜”三句含有三层意思。作者此次重来德清，已是晚年，所以有两鬓斑白、韶华不复之叹，此其一也；逢此一年一度的寒食节，又有光阴似箭之叹，此其二也；反躬自审，身在他乡，徒增两地相思之叹和飘零之苦，此其三也。各种思绪，交织在一起，真可谓百感交集了。
换头继续写词人在园中之所见所感。“昼闲度”三字写出词人一人身处废园，内心无限的孤寂和无聊。这是由于春天气候多变，忽然间小阴成雨，因此埋怨天公不作美，为何如此吝惜春光，使人不能尽情游赏。无聊之余，思乡之念倍增，正如唐代无名氏《杂诗》所道：“近寒食雨草萋萋，著麦苗风柳映堤；等是有家归未得，杜鹃休向耳边啼。”这也就是所谓“每逢佳节倍思亲”罢。此处虽然是写天气阴雨无常，但却上接“云山深处”，下开“归梦”，贯穿思乡之情，亦非闲笔。雨丝风片，引出归梦，接着以想象加深词意。归期无定，一片乡情只能寄托梦中，但幽思飘渺，犹如随风轻飏的花絮；自己的归梦也仿佛悠然飘荡在绿荫满地的长亭路上。一个“趁”字极言归梦之切。
寒食节是在异乡的龟溪废园中度过的，废园景色虽“废”，但词人却备感亲切，因为是废园陪伴诗人度过了这个节日。结尾，词人以拟人化的手法，如杜甫《春望》诗所云“感时花溅油泪，恨别鸟惊心”，即是将无情之物化为有情：在词人眼里，那阑干边扶疏的花影，小门畔宛转的莺啼，却仿佛满含情思，其中不仅有对思乡游子的安慰，还有殷勤的挽留；使得词人伫立凝思，久久不忍离去。这样的结局，别开生面，不仅将题意交代清楚，同时又点出园虽废而仍能在游子心头留下美好的回忆，因此也就更加耐人寻味了。
金山是江南名胜，地处今江苏镇江西北。原在长江中，后因砂土堆积，到清末便与长江南岸相连。据宋人周必大说，此山大江环绕，每风起浪涌时，其势欲飞动，故南朝时人称“浮玉山”（见《杂志》）。唐时有裴姓头陀于江边拾得黄金数镒，因改名金山。
此诗四句四景，合成一幅金山晚眺的优美图景，十分清丽。前半部分是并列的两句，分写江上的明月和蒙蒙的水气。西津在镇江西北九里，与金山隔水相望，是当时南北交通要道。诗人站于金山之颠，西向遥望，只见一轮新月，悬于西津渡口之上；江上水气，非烟非雾，正冉冉升起，几与天接。烟水迷蒙，使皎皎明月也蒙上了－层淡淡的云翳。这两句明暗交错，上下相对，不仅使画面具有明显的层次，而且避免了色调上的不和谐。“西津江口”四字，既点明“晚眺”方向，又划定了所见景色的区域。“月初弦”三字也有双重功用，既是写景，又是记时这种借星月在天空中位置移动和形状变化来点明时间的手法，古人诗中常用，远如曹植的《善哉行》：“月没参横，北斗阑干。”近如唐代刘方平的《夜月》：“北斗阑干南斗斜。”机杼正自相同。
诗的后半部分是相对的两句。“清渚”、“白沙”，则写出了月下之景。“清渚白沙茫不辨”是承前一句“水气昏昏上接天”而来。白天从金山眺望西津渡，对岸景物是可以看清的，唐代诗人张祜有“树影中流见，钟声两岸闻”（《题金山寺》）之句；但此时既已入夜，又有水气，诗人眺望的结果只能是“茫不辨”了。“只应灯火是渔船”作一转折：尽管对岸清渚、白沙，望去茫茫一片，但透过水气，还能看到江上灯火，隐现明灭，诗人因此判断道：那一定是对岸的渔船了。诗人在这两句中运用了反接法，便使诗句显得摇曳生姿，别具风调，比前两句的平叙景色更引人入胜。元人刘壎在《隐居通议》中说：“作绝句，当如顾恺之啖蔗法，又当如饮建溪龙焙。”也就是说，绝句不能“虎头蛇尾”，而要“渐入佳境”。这首《金山晚眺》正体现了这一要求。
此诗脱胎于张祜的七绝《题金陵渡》：“金陵津渡小山楼，一宿行人自可愁。潮落夜江斜月里，两三星火是瓜洲。”只要稍加比较，就能看出秦观诗至少在三个方面与张祜诗相同：一，时间和地点相同，都是写镇江江面的夜间景色；二，描写手法相同，一用“潮落”、“斜月”来暗示时间的推移，一用“月初弦”来点明时间；三，境界相似，秦观诗中的“只应灯火是渔船”是化用了张祜诗的“两三星火是瓜洲”以及张继《枫桥夜泊》中的“江枫渔火对愁眠”。由此可见秦观这首诗的出处。但张祜诗明写了诗人的羁旅之愁，属触景生情，形象地表达出诗人夜不成寐的情形，而秦观诗没有直接抒写诗人的情感，而是将情感蕴涵在所描写景物之中，景中含情。这又是二者的同中之异。