首联用白描的手法写雁过江上南飞，与客提壶上青山的一副美景。仅用七字，把江南的秋色描写的淋漓尽致。诗人用“涵”来形容江水仿佛把秋景包容在自己的怀抱里，“江涵秋影”四字精妙的传达出江水之清，“秋影”包容甚广，不独指雁影。“与客携壶”是置酒会友，兼之有山有水，是人生乐事，“翠微”来代替秋山，都流露出对于眼前景物的愉悦感受。
颔联为唐诗名句，夹叙夹议，写出了诗人矛盾的心情。“难逢”、“须插”的言外之意是应把握当前及时行乐，不要无益地痛惜流光，表现了一种通达的生活态度。“菊上”是扣合重阳节的习俗。
颈联与颔联手法相同，都采用了夹叙夹议的手法，表达了诗人想只管用酩酊大醉来酬答这良辰佳节，无须在节日登临时为夕阳西下、为人生迟暮而感慨、怨恨，同时也表达了及时行乐之意。“酩酊”也是扣合了重阳节的习俗。颔联和颈联都用了对比，一是尘世不乐与佳节尽情快乐的对比，一是大醉无忧与怨恨忧愁的对比。两联也多次提到重阳。节日的一个重要功能，就是使人们暂时摆脱日常生活的束缚、抛开日常生活的烦恼，让自己的心情放松片刻。杜牧在这里所表现的正是趁着重阳节抛开世事、尽情放纵快乐的思想。
“古往今来只如此，牛山何必独沾衣？”尾联是说，人生短暂古往今来终归如此，何必像齐景公对着牛山流泪。这里诗人进一步安慰自己。春秋时，齐景公游于牛山，北望国都临淄流泪说：“若乎滂滂去此而死乎！”诗人由眼前所登池州的齐山，联想到齐景公的牛山坠泪，认为像“登临恨落晖”所感受到的那种人生无常，是古往今来尽皆如此的。既然并非今世才有此恨，又何必像齐景公那样独自伤感流泪呢？
有人认为这首诗是将“抑郁之思以旷达出之”。从诗中的确可以看出情怀的郁积，但诗人倒不一定是故意用旷达的话，来表现他的苦闷，而是在登高时交织着抑郁和欣喜两种情绪。诗人主观上未尝不想用节日登高的快乐来排遣抑郁。篇中“须插”、“但将”、“不用”以及“何必”等词语的运用，都可以清楚的让人感受到诗人情感上的挣扎。至于实际上并没有真正从抑郁中挣扎出来，那是另一回事。
诗人的愁闷何以那样深、那样难以驱遣呢？除了杜牧自己怀有很高的抱负而在晚唐的政治环境中难以得到施展外，还与这次和他同游的人，也就是诗中所称的“客”有关。这位“客”不是别人，正是诗人张祜，他比杜牧年长，而且诗名早著。穆宗时令狐楚赏识他的诗才，曾上表推荐，但由于受到元稹的排斥，未能见用。这次张祜从丹阳（今属江苏）特地赶来拜望杜牧。杜牧对他的遗弃是同情的，为之愤愤不平。因此诗中的抑郁，实际上包含了两个人怀才不遇，同病相怜之感。这才是诗人怎样力求旷达，而精神始终不佳的深刻原因。
金山是江南名胜，地处今江苏镇江西北。原在长江中，后因砂土堆积，到清末便与长江南岸相连。据宋人周必大说，此山大江环绕，每风起浪涌时，其势欲飞动，故南朝时人称“浮玉山”（见《杂志》）。唐时有裴姓头陀于江边拾得黄金数镒，因改名金山。
此诗四句四景，合成一幅金山晚眺的优美图景，十分清丽。前半部分是并列的两句，分写江上的明月和蒙蒙的水气。西津在镇江西北九里，与金山隔水相望，是当时南北交通要道。诗人站于金山之颠，西向遥望，只见一轮新月，悬于西津渡口之上；江上水气，非烟非雾，正冉冉升起，几与天接。烟水迷蒙，使皎皎明月也蒙上了－层淡淡的云翳。这两句明暗交错，上下相对，不仅使画面具有明显的层次，而且避免了色调上的不和谐。“西津江口”四字，既点明“晚眺”方向，又划定了所见景色的区域。“月初弦”三字也有双重功用，既是写景，又是记时这种借星月在天空中位置移动和形状变化来点明时间的手法，古人诗中常用，远如曹植的《善哉行》：“月没参横，北斗阑干。”近如唐代刘方平的《夜月》：“北斗阑干南斗斜。”机杼正自相同。
诗的后半部分是相对的两句。“清渚”、“白沙”，则写出了月下之景。“清渚白沙茫不辨”是承前一句“水气昏昏上接天”而来。白天从金山眺望西津渡，对岸景物是可以看清的，唐代诗人张祜有“树影中流见，钟声两岸闻”（《题金山寺》）之句；但此时既已入夜，又有水气，诗人眺望的结果只能是“茫不辨”了。“只应灯火是渔船”作一转折：尽管对岸清渚、白沙，望去茫茫一片，但透过水气，还能看到江上灯火，隐现明灭，诗人因此判断道：那一定是对岸的渔船了。诗人在这两句中运用了反接法，便使诗句显得摇曳生姿，别具风调，比前两句的平叙景色更引人入胜。元人刘壎在《隐居通议》中说：“作绝句，当如顾恺之啖蔗法，又当如饮建溪龙焙。”也就是说，绝句不能“虎头蛇尾”，而要“渐入佳境”。这首《金山晚眺》正体现了这一要求。
此诗脱胎于张祜的七绝《题金陵渡》：“金陵津渡小山楼，一宿行人自可愁。潮落夜江斜月里，两三星火是瓜洲。”只要稍加比较，就能看出秦观诗至少在三个方面与张祜诗相同：一，时间和地点相同，都是写镇江江面的夜间景色；二，描写手法相同，一用“潮落”、“斜月”来暗示时间的推移，一用“月初弦”来点明时间；三，境界相似，秦观诗中的“只应灯火是渔船”是化用了张祜诗的“两三星火是瓜洲”以及张继《枫桥夜泊》中的“江枫渔火对愁眠”。由此可见秦观这首诗的出处。但张祜诗明写了诗人的羁旅之愁，属触景生情，形象地表达出诗人夜不成寐的情形，而秦观诗没有直接抒写诗人的情感，而是将情感蕴涵在所描写景物之中，景中含情。这又是二者的同中之异。