这首诗的首联写诗人自我嘲讽；颔联写诗人在杭州、苏州数年经历；颈联写诗人因景触生怀旧之情；尾联写恋旧情怀。全诗不加雕琢，对心理变化表现自如。
本诗虽说咏的只是一件旧衫，但对旧衫的色香襟袖，穿衫的种种经历，都娓娓道来。一件旧衫，便是坎坷生活的见证。诗作用语细腻准确，显示出艺术造诣之深厚。
诗咏旧官服，实感慨身世。首句即有自嘲老大之意，盖年老服绯衣而尚未服最高品级之紫衣。颔联借故衫概括杭州、苏州数年诗酒经历，流露自得之意，此处可与同一年所作《吴郡诗石记》之文相参。颈联承上句“旧”字，分写衫之“残色”、“故香”，寓恋旧之意。尾联则明确道出恋旧心理，“烂熳三年”呼应颔联，末句言旧衣不可弃，则似暗喻旧臣不宜疏远。全诗不加雕琢，对心理变化表现自如。
一领旧衣服，写得如此曲折委宛，如此多情，不但看出文字工夫，亦见性情之厚。其中“襟上杭州旧酒痕”，已成名句，常为后人引用。
《虞美人》，唐教坊曲。《碧鸡漫志》卷四：“《脞说》称起于项藉‘虞兮’之歌。予谓后世以此命名可也，曲起于当时，非也。”双调，有两格，其一为五十六字，上下片各四句两仄韵，两平韵；一为五十八字、上下片各五句两仄韵，三平韵。此首为第一格。
“背庭”两句怕赏花，并触发怀乡情。“背”，即弃也，这儿引申为“不去”。此言词人不去庭园赏花，是因为怕园中之花被人滥赏而愤而早凋。其实这并非是“花羞坠”，而是人有愁，且惜花也。词人心中愁的是羁旅在外，因秋至而起乡愁，所以词人的心早已不在乎欣赏什么花，而是已飞向群山阻隔的故乡——四明。“小帘”两句，言词人卷起帘子放那明亮的月光入室，室中瞬时由朦胧转为清晰，词人的心境也随之由浓愁减为轻忧。但是，心境刚刚转好，却又因“举头望明月”，两耳闻蛩鸣，使他又添一重怀乡新愁。
“井梧”两句，紧承上片，发挥思乡情。言秋风起，桐叶落，簌簌的落叶声，似那西风烦人的脚步声，在室外徘徊不去。词人羁旅在外，夜闻此声，辗转反侧，更是因离愁别恨而不能成眠。“梦和”两句，言词人即使在睡梦中，也在思念亲人。他说：我们分居两地多像天上的弯弯新月，还不到十五团圆之时。真是“日有所思，夜有所梦”。醒后不能成寐，他索兴披衣起来，踱到室外，见屋檐边蜘蛛正在周而复始地劳碌结网，不禁又联想到自己也与它一样，为生计所迫，在他乡劳碌奔波度日的处境。真是对景伤情，徒添悲伤。据词意此词应是词人早期之作。
题序“歌渔父家风，以谢江山”，表明了写作的真正动机，乃于表明自己面对江山胜景，幡然悔悟的解脱心理，但是这种自欺欺人的自由幻想，只是更说明现实对他的真实束缚。
词的上片，“一波才动万波随，蓑笠一钩丝”，这是幅寒江独钩图，一碧万顷，波光粼粼，有孤舟蓑笠翁，浮游其上，置身天地之间，垂钓于重渊深处，钩入水动，波纹四起，环环相随。这样空灵洒脱的境界令人逸怀浩气。“金鳞”二句写垂钓之兴：鱼翔深底，沉沦不起，为取水下金鳞，渔翁不惜垂丝千尺。此时此刻，渔父专注一念，神智空明，似乎正感受到水下之鱼盘旋于钓钩左右的情态。
词的下片，“吞又吐，信还疑，上钩迟”，这一虚设之笔描绘了渔翁闭目凝神，心与鱼游的垂钩之乐，这种快乐中，渔父举目江天山水，忽然得道忘鱼。末三句渲染出一幅空灵澄澈的江渔归晚图：“水寒江静，满目青山，载月明归。”透射出一种置身江天、脱落尘滓的逍遥追求，突出渔父这样一种澄静澹远的境界里，任漂泊而不问其所至，也正是自张志和至黄庭坚所立志以求的最高境界。
该词构思用意上搬用了唐代船子和尚的偈语，将张志和那种志不渝、逍遥自由的渔父家风，又升华为一种摆脱世网，顿悟入圣的精神境界，借此表明词人当时遭贬后的心胸抱负和向往独钓江天、泛迹五湖的自由生活。取景设境上具有象征色彩，用意于形象后面的暗示。特别是最后“水寒江静，满目青山，载月明归”三句，直以诗家之化境写禅宗之悟境，用自然超妙之景象征自己词人觉悟解脱，由凡入圣的心志襟怀。