上片是写张平甫所纳小妾别家的情景。“双螺未合，双蛾先敛”，言小妾束妆待发，准备出嫁的嫁头尚未做好，眉头就紧收起来，表明心情有些矜持和悲凉。“家在碧云西”，点出女子家乡幽远。接着“别母情怀，随郎滋味，桃叶渡江时”三句从三个层面来写姑娘的愁源。一是离开母亲的怀抱，二是跟随一个不熟悉的、无感情基础的人生活，三是不确定从自己去后能否有传说中的桃叶与王献之那样生活幸福。王献之爱妾桃叶的典故也映衬出张平甫的身份高雅和小姑娘的柔美可爱。
下片“扁舟载了，匆匆归去，今夜泊前溪”三句，写小姑娘坐上小船被载去张平甫的前溪别墅，一路上春意浓烈，更衬托出小姑娘无心去欣赏春光，自己心已无春情，愁绪满胸。“杨柳津头，梨花墙外，心事两人知。”一路上行经绿杨垂荫的津渡，梨花高出墙外的园林，各自的心绪感想，只有两人知道。结句很有意味。“心事两人知”这样的情景，不能不让人发愁。
姜夔以“桃叶渡江时”句，即点明张平甫纳妾之意，又在说小姑娘自己想是否有桃叶的幸福生活。用“泊前溪”交待张平甫把小姑娘纳去的地方。写“梨花”开出墙外，一是说明张平甫纳妾时间是在春天，二是反衬小姑娘心中已无春意，只有愁绪在心头。“匆匆”二字则体现对小姑娘的不尊重，有强行之意。“扁舟”用得又非常恰当，有偷偷摸摸，不是大张旗鼓之意。开拍就是“双螺未合，双蛾先敛”，很有不情愿，愁绪满心头之状。
姜夔在此词里反映了男尊女卑的社会问题，男的娶妾，女的被迫嫁出。姜夔不一定意识到妇女要解放的道理，但他就在此词中写出了男女不平等的现状。小姑娘有苦有愁不敢言，只留心头，只能表现在眉头紧收。姜夔的笔下描写得细致，把一个大的社会问题，用一场“纳妾”过程揭露得淋漓尽致。或许也是有许多这样“男女不平等”的呼声，给后来“妇女解放”奠定了理论基础。若如此，姜夔此词当是许多“呼声”中的一种，而且是比较早的呼声。
这首词写水乡风光及生活：春末夏初，词人登上高楼，意欲欣赏江南水乡迷人的景致。他纵目望江，看到一幕动人的送别场景。
“莲叶初生南浦，两岸绿杨飞絮。”开首两句，很清楚的点出了环境和季节，莲叶初生，绿杨飞絮，把初夏时节写得生机勃勃，飞动流走。南浦泛指送别的地方，屈原《九歌·河伯》：“子交手兮东行，送美人兮南浦。”江淹《别赋》：“送君南浦，伤如之何？”该词所描绘的乃一条大江的渡口附近，河湖池塘，莲叶初生，微露水面，青翠欲滴，娇嫩喜人；大江两岸，绿柳成排，枝条婀娜，飞絮漫天，这意境是颇为迷人的。
词在点出了季节和渡口附近的环境之后，则进一步交代了具体的时间和场景：“向晚鲤鱼风，断送彩帆何处？”薄暮将来的时候，江面上吹来春末夏初的暖风，带着湿润的鱼腥味，很容易引起人的情绪和联想。在渡口附近的江面，出现了一只画船，它已扬起了彩帆，在朦胧的暮色里，摇起了橹，荡起了桨，却不知去向何处。
以上季节、时间、环境、场景，均是词人在一定角度亲自看到和感到的：“凝伫，凝伫，楼外一江烟雨。”原来词人正站在江岸的一座高楼之上，在出神，在发愣，这送别场景给词人带来的感触是情意绵绵，还是怅然若失，恐怕他自己也说不清了。再看“楼外”，则是“一江烟雨”。与蒙蒙暮色相合，完全是混沌一片了。此时词人感情的潮水，也只能是一片混沌。
贺铸的好友，苏门四学士之一的张耒为贺铸的《东山词》作序有云：“盛丽如游金、张之堂，而妖冶如揽嫱、施之祛，幽洁如屈、宋，悲壮如苏、李。”这评价或许有点过分，但却准确地指出了贺词风格的丰富和多样。他虽有一些近于苏轼词风的豪放词，又有不少婉约词。《忆仙姿》前半明快爽朗，生气盎然，后半朦胧迷离，茫然低沉，正是贺铸思想矛盾复杂的一个体现。
全词虽无一字提到离别相思，却将离别相思之情写得淋漓尽致。
