这首词写秋日登彭氏小楼的情景。首二句泛写登楼所见所感，接着叹息自己为生计所迫，或寄人篱下，或辗转远游，过着不能自主的生活。后二句由感喟身世而转到怀人，并料想亲人也在惦念自己，双方情意绵绵，相互思念。全词以景含情，气氛凄冷；语言清新明快，篇幅虽小而情味深长。
姜夔的这首《忆王孙·番阳彭氏小楼作》与其他相同词牌的作品相比，要略胜筹。作为一首描写羁旅飘泊的词作，词人并未将重点放在对漂泊的具体抒写上，而是通过抒发他内心的孤寂、伤感，将人引入一个更为幽微的境界，细致人微，感人至深。
起句以写景引起，并点明节序。冷红，盖指枫叶。霜后的枫叶一片绯红，在肃杀的秋风中，正一叶一叶飘落到秋塘中去。白石词多用“冷”字，如《扬州慢》“波心荡，冷月无声”，《踏莎行》“淮南皓月冷千山”，《念奴娇》“嫣然摇动，冷香飞上诗句”，《暗香》“香冷入瑶席”，而且往往以通感的形式出现，将自己凄凉的身世之感移情到几个创造的意象中。用“冷红”形容飘散的枫叶，顿觉凄冷的气氛笼罩全词。古代文人伤时悲秋，见秋风落叶，或怀念故土，或忧伤身世，并不稀见。
不过，次句“长与行云共一舟”，句法颇为新颖。行云，常用来比喻飘泊江湖的游子。如曹植《王仲宣诔》：“行云徘徊，游鱼失浪。”张协《杂诗》：“流波恋旧浦，行云思故山。”姜夔一生未仕，四处飘泊，行踪不定，用“行云”来象征其身世，很为恰切。这里他不直说身如行云，而偏说“长与行云共一舟”，这就不落俗套。词人浪迹江湖，居无定所，乘舟走到哪里，天上的行云也仿佛跟到哪里，这难道不是与行云“共一舟”么？以上两句，泛写登楼所见所感，不仅切合当时所处的环境，其创意出奇之处，也透露出白石词“气体超妙”（陈廷焯《白雨斋词话》卷二）“如野云孤飞，去留无迹”（张炎《词源》）的特色。
下一句承上意，具体点明所处之地。不自由，即不由自主。白石一生未仕，布衣终身，穷愁潦倒的知识分子为生计所迫，以请客身份或寄人篱下，或因人远游，辗转风尘，哪有安身立命之地？“不自由”，看似浅淡，却道出了飘泊江湖的无穷酸辛。游子在孤独落寞之际，总要想起知心体贴自己的故旧或亲人，结尾两句即由伤飘泊转到怀远人。
“两绸缪”，一笔两用，兼写男女双方。绸缪，缠绵之意。《诗。唐风盈觞酒，与子结绸缪。“此句写自己与合肥情侣双方情意绵绵，相互思念。“料得吟鸾夜夜愁”则专写对方。古人觉以鸾凤喻夫妇，此处”吟鸾“而加上”料得“，当指因相思之苦而夜不成寐的伊人。让人想起李商隐的诗句”夜吟应觉月光寒。“由自己思念对方而想到对方会无限思念自己，透过一层，感情更为深至，意境更为深远。”夜夜愁“，写出对方无夜不思，无夜不愁。词人相信对方对自己如此真挚思念，也正反映了词人对于对方的一往深情。
全词以感叹身世起，由写景开端，以抒情歇拍，由妻子怀想收结，巧妙地将身世感叹与怀人情愫绾合起来，凝炼地写入短短的五句词里，真是“超妙入神”。