这篇文章一共可以分为三段。第一段引述白居易文章中的相关语句，表明自己的心态。第二段以江州山水之美与邢州环境作比较，体现了自己的感情波澜起伏。第三段具体写自己住处的恶劣环境和以书史自娱的心境。全文合理运用对比的方式，摹仿白居易的笔触，通过将自己与白居易作对比来表达了自己内心压抑的情感以及不满的情绪。
第一段的开头有如神来之笔，引出唐代曾被贬为江州司马的白居易，作者正是读了他的《江州司马厅记》。这一段的文字是不动感情的，但“同是天涯沦落人”的潜在意思已经不言而喻了。第一段引述白居易文章中的相关语句，说明自己主管的马政是无所事事、独奉文移的闲职。并用“司马之职尽去”之语，点明了自己的处境与千年前的江州司马何其相似。
第二段是以江州山水之美与邢州环境作比较，说明自己所处的自然环境“犹有赵之风”，不类江州之佳山水，所以也不能和江州司马那样“养志忘名”，只能心仪其“襟怀夷旷，能自适”。第二段感情波澜起伏。白居易谪居江州，犹有匡庐江湖之佳境可供养志忘名，可自己却是什么也没有，与之相比处境更差。但是，白居易虽然是个迁谪者却没有无聊不平之意，胸怀夷旷，能怡然自得，是归有光所赞同的。因此，“虽微江州，其有不自得哉”一语，既是说自居易，也是在说作者自己。
第三段具体写自己住处的恶劣环境和以书史自娱的心境，实是以干载之下江州司马白居易的同志自居而自表心迹而已。结尾处点睛之笔说得很明白：儒家的“乐天知命”的思想，是白居易和归有光所共有的。
《桃源忆故人》，词牌名。《词谱》：“一名《虞美人影》，张先词或名《胡捣练》，陆游词名《桃园忆故人》，赵鼎词名《醉桃园》，韩淲词有‘杏花风里东风峭’句，故名《杏花风》。”双调，四十八字，上下片各四句四仄韵。
此词系忆苏姬。它与《齐天乐·烟波桃叶西陵路》，一为忆苏州去妾，一为怀杭城亡妾。两词可互相参阅。
“越山”两句，述越中风景。“西陵浦”，即西陵渡。此言词人由吴至越地，眼中越山青青，阴风凄雨，隔断了词人遥望当年两人分别之处——西陵浦。“潮带”两句，忆旧日离别。“潮”，指钱江潮。《齐天乐·烟波桃叶西陵路》中有“烟波桃叶西陵路，十年断魂潮尾”，讲的也是西陵地处钱江潮的余波。此言西陵地处钱江潮尾，暮色中江潮起，阻住了行舟的航速，由此词人想道：当年我不也是在这儿折柳赠别，劝阻你离别吗？但终于你还是离我而去，使我离愁之恨一直延续至今。上片写作者触景生情。
“桃根”两句，借典寄愁。“桃根桃叶”句，化用王献之《桃叶歌》典故。“桃叶”，系晋王献之妾。王有《桃叶歌》：“桃叶复桃叶，渡江不用楫。”这里借喻与去妾分别。此处是说：这里正是当年两人分离的渡口，所以今天旧地重游，听到传入耳中的船桨声，也觉得它似在为两人的分离而呜咽哀伤。“燕子”两句，借物寄愁。言词人见燕子在即将启程的船桅上呢喃不停，似乎牢骚满腹地埋怨，留不住这美好的春色，也留不住帆樯的启行。真是好景难住，人难永聚，两地相思意，千言万语诉说不尽。这燕子呢喃之语，似乎还在向词人诉说去姬寄来的言语，可惜这些言语终究难解词人的相思心结。疑姬去之后的信来诉说其苦衷，所以有此一说。下片借景抒情，寄托愁思。
这首词流露的感情来说，应该是作者重回故地，在离开时突然看映过去自己与情人分别时的津口亭馆，所激起的对情人的深切的思念之情。
“上马人扶残醉，晓风吹未醒”起句很是突兀。“上马人扶残醉”隐括李白《鲁中都东楼醉起作》诗：“阿谁扶上马，不省下楼时。”晓风即晨风。从“残醉”和“晓风”两句可以看出词人通宵饮酒，直到天亮。柳永有词“今宵酒醒何处，杨柳岸、晓风残月，”晓风尤能吹去醉意。周词中词人不仅不知道谁人扶上马，而且吹不醒，可映词人醉酒的浓度和深度，不可破除。作者由酒醉不醒写起，却掩盖了酒醉的起因，这是词人写词的顿挫处，也为后面感情的抒发埋下了伏笔。
“映水曲、翠瓦朱檐，垂杨里、乍映津亭。”这里要注意“乍”字，一个字透出很多惊讶来。猛然间看映了柳荫中的渡口亭馆，它坐落在水流曲折处，绿瓦红檐，特别醒目。“乍映津亭”惊醒了词人的醉意，也唤起了词人的记忆。“当时曾题败壁，蛛丝罩、淡墨苔晕青。”意为多年以前，曾在津亭的墙壁上题词，现在墙壁已经破败剥落，蛛丝笼罩，墨迹淡化，苔晕青青。这引起词人很大的伤感。“念去来、岁月如流，徘徊久、叹息愁思盈。”“去来”，指不停的奔波。岁月如流，谢灵运《拟魏太子邺中题诗八首》序文：“岁月如流，零落将尽。”是说时间好像流水一样飞逝而过。“徘徊久、叹息愁思盈”，暗用江淹《别赋》中的句子：“明月白露，光阴往来，与子之别，思心徘徊。是以别方不定，别理千名。有别必怨，有怨必盈。”以上句意为年去岁来，时间好像流水一样过去，在此地徘徊留恋，叹息声声，有满怀的愁思。这是上半阙，写思情。先写自己通宵饮酒大醉，由乍映津亭念及败壁题词，勾起自己对往事的回忆，渐渐明白醉酒之因。但是还不是很明显，对往事的回忆只是由津亭，败笔题词带过，也没有明确怀念对象。留下感情线索，在下半阙展开。
“去去倦寻路程”。“去去”在柳永的《雨霖铃》中有“念去去，千里烟波，暮霭沉沉楚天阔”。二者意义相同，即去了又去、走了又走，不停的奔波行役之意。“倦”字写出词人的倦怠之情。“江陵旧事，何事再问杨琼。”江陵，东晋时期荆州治所，在今湖北江陵，此代指荆州。这句隐括了元稹《和乐天示杨琼》和白居易的《问杨琼》。这里用杨琼代指自己的情人。江陵旧事，指他们过去的情事。“何曾再问杨琼”，何曾即不曾，暗示不映情人的踪影。自己不停的奔波行役，情人不映，只留下无穷的遗恨，自己再也没有机会与情人一起回忆过去的情事了。“旧曲凄清，敛愁黛，与谁听？”回忆与现实交融在一起。旧曲，应该是词人与情人当时听到的歌曲，即是下文的“渭城曲”。凄清，悲怨。敛愁黛，因愁怨而皱起黛眉。昔日离别时，你我共听凄清的离别之曲，你听曲子时因愁怨而敛眉的样子还在眼前，但是现在我与谁共听？旧曲，是诗人徘徊所闻，也因之想起以前已情人分别时的场景。既展示现在又回忆过去，既再现了当日情人的感情，也展示了自己的苦苦相思。“尊前故人如在，想念我、最关情。”设想之辞。由自己设想对方的感情。如柳永的《八声甘州》：“想佳人，妆楼颙望，误几回，天际识归舟。”也是运用的这种写法。尊前故人，指上一次分别是黛眉敛起的情人。关情，动情。词人由自身设想对方的感情，自有词人的一份痴情在，也可画出情人对词人的深情，心心相印。但是这不过是词人的想象罢了，现在词人孤独一人在河边徘徊，旧曲萦绕，、挥不去情人当时的样子。“何须《渭城》，歌声未尽处，先泪零。”这最后一句，很是巧妙，使人分不出是今日离别还是昔日离别，水乳交融。当日离别之时，与佳人共听凄曲，不待曲终，即已泪零；今日离别，又闻旧曲，不堪其情，潸然泪下。渭城之曲，即是过去同听，又是现在独闻；泪零既是当日离别之泪，又是今日相思之泪。今昔不分，亦今亦昔，感人至深。歌声未尽先已泪零，在曾经离别之地，对一个“倦寻路程”的人来说有多少身世之感，直是催人泪下。
总之，这首词先写醉酒，然后由乍映津亭和败壁题词虚写离别，而后由思及离别而叹息徘徊，上片写及思念但是感情想对疏缓；下片写出思念对象，自己和双方的感情，以双双泪零作结，感情达到高潮。最后一句亦今亦昔，很是巧妙。