词有小序述写作缘起。它首先追叙了1191年（绍熙二年辛亥）除夕，作者从范成大苏州石湖别墅乘船回湖州家中，雪夜过垂虹桥即兴赋诗的情景。诗即《除夜自石湖归苕溪》十绝句，“笠泽茫茫雁影微”是其中的一首。当时伴随诗人的还有范成大所赠侍女小红，故又有《过垂虹》一首吴：“自作新词韵最娇，小红低唱我吹箫。曲终过尽松陵路，回首烟波十四桥。” 五年以后，1196年（庆元二年）冬，作者自封禺（二山名，在今浙江德清县西南）东诣梁溪（今无锡）张鉴别墅，行程是由苕溪入太湖经吴松江，沿运河至无锡，方向正与前次相反，同往者有张鉴（平甫）、俞灏（商卿）、葛天民（朴翁，为僧名义铦），这次又是夜过吴松江，到垂虹桥，且顶风漫步桥上，因赋此词，后经十多天反复修改定稿。这次再游垂虹，小红未同行，范成大逝去已三载。从小序看，这首词是一首写景纪游之词，但从全词看，则兼有伤逝、怀古、怀人等多重内容。此词的妙处正在将多重主旨溶成一片，复杂含混，意蕴丰厚。
上片从环境入手，开篇便描绘出一幅凌寒荡舟的广阔画面：飘浮着莼菜的水面，双桨划动；松风时送雨点，冷凝在蓑笠上；暮霭渐渐笼罩湖上，令人生愁。起三句“莼波”、“松雨”、“暮愁”，或语新意工，或情景交融，“渐”字写出时间的推移，“空阔”则展示出境界的深广，为全词定下了一个清旷高远的基调。以下三句继写湖面景象：沙鸥在湖上盘旋飞翔，仿佛要为“我”落下，却又背人转向，远远掠过树梢。沙鸥亲切可爱之情态毕现。因为故地重游，所以称这些水鸟为“盟鸥”（和“我”有旧交的鸥鸟。）后三句忽尔转到五年前雪夜荡舟的情景：“那回归去，荡吴雪、孤舟夜发”，正是：“笠泽茫茫雁影微，玉峰重叠护吴衣……”眼前隐约出现的不又是那重叠蜿蜒的远山？这是旧梦重温么？然而当年的人又到何处去了？结句“伤心重见”三句，挽合今昔，感慨遥深。“依约眉山，黛痕低压”，将太湖远处的青山，比作女子的黛眉，不是无缘无故作形似之语，而显然有伤逝怀人的情绪。所谓伤逝怀人，则可能既有对友人范成大的追念，又有对范成大所赠歌妓小红的想念，而且还似有对合肥情侣的深深思念（正是是年正月，词人与合肥情侣惜别，已有近一年矣）。朦胧迷离，曲尽其妙。
下片过拍写船过采香径。这是香山旁的小溪，据《吴郡志》：“吴王种香于香山，使美人泛舟于溪以采香。今自灵岩望之，一水直知矢，故俗又称箭径。”面对这历史古迹，最易引发人的思古之幽情，“嗟叹之不足，故永歌之。”“老子婆娑（犹徘徊），自歌谁答。”对照“那回归去”的情景——“自作新词韵最娇，小红低唱我吹箫”，而今老夫对山川歌舞，有谁应答？仍与上片结句伤逝情绪一脉相承。西望是垂虹桥，它建于北宋庆历年间，东西长千余尺，前临太湖，横截吴江，河光海气，荡漾一色，称三吴绝景，以其上有垂虹亭，故名。船过垂虹，也就成为这一路兴致的高潮所在。从“此兴平生难遏”一句看，这里的“飘然引去”之乐，实兼今昔言之。这一夜船抵垂虹时，作者曾以“卮酒”袪寒助兴，在他“飘然引去”时，未尝不回想那回“曲终过尽松陵路，回首烟波十四桥”的难以忘怀的情景。从而，当其“酒醒波远”后，不免黯然神伤。“政（正）凝想、明珰（耳坠）素袜。”“明珰素袜”借指美人。曹植《洛神赋》有“凌波微步，罗袜生尘。”“无微情以效爱兮，献江南之明珰”句。这里“明珰素袜”所代的美人，联系“采香径里春寒”句，似指吴宫西子，而联系“那回归去”，又似指小红。还可能是远隔千里，年初与自己依依惜别的合肥情侣。其妙正在于怀古与思念之情合一，又不说明，反令人神远。末三句即以“如今安在”四字提唱，“唯有阑干，伴人一霎”一叹作答，指出千古兴衰、今昔哀乐，犹如一梦，由怀想跌到眼前，收束有力。而伤怀幽怨，余味不尽。
从小序看，这一夜同游共四人，且相呼步行于垂虹桥，观看星斗渔火，而词中却绝少征实描写。惟致力刻画在这吴压青山、暮愁渐满的太湖之上、垂虹亭畔飘然不群，放歌抒怀的词人自我形象，颇有遗世独立之感。
这首诗扣住吴江的地理形势和有关的历史事件，巧妙地融写景、叙事、抒情为一体，寓意深刻，感慨良多。
此诗上半部分描写吴江自然景色，首联所说“松陵”，为吴江旧称。吴江县城东南旧有一条长堤，界于松江与太湖之间，蜿蜒八十余里。诗人走在黄昏的吴江道路上，远远望去，这堤好像要抱住整座县城一样。一个“抱”字，把长堤拟人化了，不仅形象生动，而且写出了它对吴江县城护拥偎倚的情态。首联是对吴江的远眺，颔联两句，则由远而近，进一步作具体刻画。第三句所说的“塔”，原在吴江东门外的宁境华严讲寺内，共七层，高十三丈，形方，故名方塔。方塔在湖中各处均可看见，而其自身位置又是固定不变的，这就仿佛湖势在围绕着方塔移动。第四句所说的“桥”，一名垂虹桥，俗呼长桥，东西百余丈，多至七十二孔，中间有垂虹亭；前临太湖，横绝松陵，湖光海气，荡漾一色，旧称“三吴绝景”。由于桥身很长，所以有一种似乎淡淡的月痕是由它牵引而生的感觉。两句抓住当时吴江最具特色的景物，做了典型的概括描写。诗中有塔有湖，有桥有月，动静相宜，交相辉映，组成了一幅空明清旷的图画。同时，颔联这两句除了写景之外，实际上另有某种深刻的寓意蕴藏在内，与颈联相呼应。
颈联“市静人逃赋，江宽客避兵”，这两句为全诗关键，它描写了吴江在赋税重压、战乱摧残之下的萧条景象。市集沉寂，是由于百姓忍受不了重敛苛征，被迫逃亡；江面空阔，是由于行客为了躲避兵火战事，隐身遁迹。这“市”和“江”的萧条景象，一方面和前面“湖”和“月”同样开阔，另一方面却又使得原来的秀丽景色整个地为之黯然，蒙上了一层凄清惨淡的色调，从而产生了对照鲜明的艺术效果。再结合颔联“塔盘”、“桥引”两句。所谓“湖势动”，即可以视为写自然之景，也可以看作是对颈联的“逃赋”和“避兵”的人间风波的一种形象的暗示。所谓“月痕生”，则在写景之中隐寓清兵南下之意。月属阴象，因而在古代诗词中往往用来比喻外族。如清初著名女词人徐灿的《踏莎行》即云：“碧云犹叠旧山河，月痕休到深深处！”这里的“碧云”典据梁朝江淹《休上人怨别》诗：“日暮碧云合。”意思说当时的南明小朝廷虽然已经日薄西山，但毕竟还在坚持；“月痕”则指清兵，希望它不要消灭南明。吴伟业和徐灿是同时代人，并且还是儿女亲家。他作《过吴江有感》时，明朝政权已经彻底覆亡，所以一开头写的就是“落日”而不是“日暮”；因此颔联中的“月痕生”，也同样应是暗指清兵到来，而颈联的“避兵”，由此也不显得突兀而出了。如此，全诗的结构脉络便可一目了然。首联总起，概括吴江形势，点明时代背景；接着一分为二，颔联、颈联由暗而明，既是写景，又分别暗示了清兵南下、人民离散。最后，诗又合二而一，归结为故国沦丧，交游零落，身世凄凉，唯有感叹而已的悲凉情怀。
尾联“廿年交旧散，把酒叹浮名”，这里的“廿年”不一定是确指，它可以包括清兵南下至写作此诗这二十余年的时间。“散”字承上文“逃”、“避”二字而来，“人逃”“客避”，故友自然也都离散了。这句虽然说得较虚，不过，此中仍有故事可稽。明朝既亡，许多爱国文士相率结为诗社，遁迹林泉，砥砺气节，暗图匡复。顺治七年（1650）开始出现的吴江“惊隐诗社”，在当时尤为著名。吴江的吴炎、潘柽章，昆山的顾炎武、归庄等人，都是它的主要成员。康熙二年（1663），庄廷鑨“明史案”兴，清王朝借机大搞株连，屠戮遗民志士，“惊隐诗社”亦被迫停止，吴炎、潘柽章也惨遭杀害，顾炎武曾做诗文吊之。而吴伟业同他们都有交往，因此，“廿年交旧散”云云，大概正是“有感”于这一事件。至于“把酒叹浮名”，则是吴伟业本人的身世之感。他在明朝少年高第，前程似锦，而明亡以后，由于“浮名”太盛，被迫出仕清廷，晚年才得以回乡家居。“浮名”之累人如此，反不及故友们或死或遁；名节不堕，令诗人深为叹息，借酒浇愁。
纵观全诗，前半首写“过吴江”，是叙事；后半首写“有感”，是抒情。然而，抒情之中，兼有叙事。首联“落日”，诗人离吴江还较远；颔联“月痕生”，渐渐接近吴江；颈联“市静”，表明已经上岸；尾联“把酒”，则是住下之后发现“交旧散”，才对“酒”兴“叹”的。全诗按照时间先后依次描述，层次分明。因此，后半首既是写“有感”，又是续写“过吴江”。同样，前半首的“落日”，“月痕生”，暗示了明朝的覆亡、清兵的入侵，所以，它既是写“过吴江”，又是预写“有感”。可见，在本诗中，叙事与抒情，“过吴江”与“有感”，已经达到了相互渗透、不可截然分割的地步。