此诗见缲丝而托兴，正意在篇末。此章两段，各八句。上段，有踵事增华之意。欲成罗锦，用尺量丝，故须长；所织花草，色兼红碧，故不须白。熨贴裁缝，制为舞衣也。象床，指机床。玉手，指织女。乱殷红，谓经纬错综。动尺碧，谓光彩闪铄。
下段，有厌故喜新之感。蝶趁舞容，鹂应歌声，落絮游丝乘风日而缀衣前，比人情趋附者多。一经尘汗污颜，弃置何所，见繁华忽然零落矣。士故有鉴于此，不轻受汲引而甘忍羇旅，诚恐一旦弃捐，等于敝衣耳。玩末二语，公之不屑随时俯仰可知。
仇兆鳌按：诗咏白丝，即墨子悲素丝意也。已悲素质随时染，当其渲染之初，便是沾污之渐，及其见置时，欲保素质得乎？唯士守贞白，则不随人荣辱矣。此风人有取于素丝欤。
首联总写金山胜景。诗人用“烟波微茫信难求”的海上仙山蓬莱岛为喻写金山夜景，十分恰切，夜色朦胧，长云漠漠，连飞鸟也为难以前往而发愁。可是“蓬莱有路教人到”，诗人的激动的心情可想而知。
颔联让人想起李白“三山半落青天外，二水中分白鹭洲。”句式上虽有点模仿的痕迹，但不乏创新。李白以气势胜，杨蟠以炼句胜，各有千秋。特别需要指出的是，出句中的动词用得很妙，尤其是“乱点”和“出”，把山给写活了，不但有生气，而且有灵气。比王安石《桂枝香》中“翠峰如簇”要生动得多，就连李白的“半落”，也怕是“稍逊风骚”。
颔联写的是白天，颈联写的是晚上。这一联要比王安石的“天末海门横北固”和“远有楼台只见灯”那几句“尤胜”（方回《瀛奎律髓》），苍茫的天宇下，多景楼、北固山“横空出世”，屹立天际，千百年来“阅尽人间春色”与沧桑；灯火辉煌的“淮左名都，竹西佳处”扬州城依然非常繁华，“二十四桥明月夜，玉人何处教吹箫”的景象是十分令人神往的。这一切，在朦胧的夜幕轻纱的笼罩下，和蓬莱仙山简直没有什么两样。
尾联若理解为取李商隐《重有感》中“玉帐牙旗得上游，安危须共主君忧”的诗意，似乎是吹捧裴如晦也能“安危须共主君忧”。若以纯写景解，却别有一番风味。金陵上空的一轮明月，正挂在牙旗上，船在江中破浪前行，那月亮似乎像是坐在浪头上。这样写江中明月确实非常别致，非常独特，非常新颖，比张若虚“滟滟随波千万里”有趣得多。
作者回到绍兴的时候正值秋季，所以此词从秋景起笔，“扫西风门径，黄叶凋零，白云萧散”。西风有知，似乎知主人归来，殷勤地扫除门径以示迎接。西风吹得黄叶凋零了，白云萧散了。凋零、萧散，其实正是作者当时的心境的反映。此番回到故乡，他并没有感受到一般应有的那种温暖与亲切。内心有着一种难以明言的隐微情绪。“柳换枯阴，赋归来何晚！”辞官四年，自无荣耀之感，却有点悔恨的意思。离开鄞县时，王沂孙曾作《齐天乐》：“正恐黄花，笑人归较晚，”两者心境相同。回归故乡时，词人悔恨出行的失计，不免自怨自艾，心里颇不是滋味。
“萧气霏霏，翠蛾眉妩，聊慰登临眼。”此句从两个方面描写了故山秋天的美景，山中弥漫着清新空气，令人神清气萧，故山的山容像美女的眉毛一般美丽。此情此景，诚然可以使作客归来的人感到赏心悦目。但“故国如尘，故人如梦”，在登临之际，徒增愁思，意兴索然，虽美景在前，也懒于一顾了。欲登临和懒登高相对，以见其愁情之重。登高怀远，招来宋室覆亡之感慨，朋友沦替之伤悼，情难自禁，则又不如不上这山为好了。“登高还懒”，词人这种复杂的感情，和李清照“怕见夜间出去”的心绪相同。
词的下片未作转换，仍然承接上片的抒情线索，作生发开来的描写。“数点寒英，为谁零落”，是作者的自我惋惜。“楚魄难招，暮寒堪揽”，意谓“往者不可谏，来者犹可追”。这几句，写法相当深刻，意味相当沉痛。至于“步屧荒篱，谁念幽芳远”二句，则是与上文的“寒英”“零落”紧相连接的，写得参差错落，显得章法变换多姿。
“一室秋灯，一庭秋雨，更一声秋雁”是此词最精彩的笔墨，用三排比短句。描绘出了一种清冷孤寂的境界，秋灯、秋雨、秋雁，所衬托的不过是一颗秋心而已。“试引芳樽”，借酒浇愁，愁更愁，以“不知消得几多依黯”作结尾，“依黯”这个词语与“依依”和“黯黯”结合，承上“故国如尘，故人如梦”，比泛言“愁苦”，要细致，要准确，值得细细玩味用它来表示这首词所包含的复杂的情感意绪，还是很确切的。
在这首词中，作者多处描写故乡秋季的景物，寄情于景，情景交融，用较为隐蔽的手法表达了他的黍离之悲。