词中描写了江南水乡春汛时的山光水色和怡情悦性的渔人形象：春江水绿、烟雨迷蒙，雨中青山、江上渔舟，天空白鹭、岸畔桃红，江水猛涨，鳜鱼正肥时；青箬笠，绿蓑衣，渔人醉垂忘归时。全词着色明丽，用语活泼，生动地表现了渔夫悠闲自在的生活情趣。这是一幅用诗写成的山水画，这是一首色彩明优意万千，脱离尘俗钓湖烟。思深韵远情融景，生活任行乐自然的抒情诗。
“西塞山前白鹭飞”首句，点明地点；此西塞山何处？鄂州、湖州？虽有异议，对词境来说倒无所谓。白鹭是自由、闲适的象征，“众禽无此格，玉立一间身。清似参禅客，癯如辟谷人”、“漠漠江湖自在飞，一身到处沾渔矶”，写白鹭自在地飞翔，衬托渔父的悠闲自得。
“桃花流水鳜鱼肥”第二句，点出江南水乡最美好的季节——正是桃花盛开，江水猛涨，鳜鱼正肥时。“桃红”与“流水”相映，显现了暮春西塞山前的湖光山色，渲染了渔父的生活环境。
“青箬笠，绿蓑衣，斜风细雨不须归”写的都是他们。“箬笠”就是用竹丝和青色箬竹叶编成的斗笠。“蓑衣”是用植物的茎叶或皮制成的雨衣。如果以龙须草（蓑草）为原料，它就是绿色的。“归”，回家。“不须归”，是说也不须回家了。作者在词里虽然只是概括地叙述了渔夫捕鱼的生活，但是，读者通过自己的想象，完全可以体会到词的言外之意。从渔翁头戴箬笠，身披蓑衣，在斜风细雨里欣赏春天水面的景物，读者便可以体会到渔夫在捕鱼时的愉快心情。
作者是一位山水画家，据说他曾将《渔歌子》画成图画。确实，这首词是富于画意的。苍岩，白鹭，鲜艳的桃林，清澈的流水，黄褐色的鳜鱼，青色的斗笠，绿色的蓑衣，色彩多么鲜明，构思也很巧妙，意境优美，使人读作品时，仿佛是在看一幅出色的水乡春汛图。
此词在秀丽的水乡风光和理想化的渔人生活中，寄托了作者爱自由、爱自然的情怀。词中更吸引读者的不是一蓑风雨，从容自适的渔父，而是江乡二月桃花汛期间春江水涨、烟雨迷蒙的图景。雨中青山，江上渔舟，天空白鹭，两岸红桃，色泽鲜明但又显得柔和，气氛宁静但又充满活力。而这既体现了作者的艺术匠心，也反映了他高远、冲澹、悠然脱俗的意趣。此词吟成后，不仅一时唱和者甚众，而且还流播海外，为东邻日本的汉诗作者开启了填词门径，嵯峨天皇的《渔歌子》五首及其臣僚的奉和之作七首，即以此词为蓝本改制而成。
自宋以来，不少正统词论家指责柳永的俗词，因为这些“淫冶讴歌之曲”不合封建社会道德和正统文人的审美趣味，所以历代词选很少收录这类词。其实只要不具艺术偏见，仔细研读柳永俗词便不难发现，它是很有思想意义和艺术水平的。正如这首《驻马听》，它是柳永词中专写男女别离相思的一篇，通篇既不写景，也不叙事，完全摆脱了即景传情和因物兴感的俗套，采用直言的方式来抒情。全词写得直率明快、真情洋溢、深挚感人。
整首词采用线型的结构，按照情节的顺序从头写起，层次清晰。上片纯属忆旧。“凤枕鸾帷”三句是写词人沉溺于往日甜蜜爱情生活的回忆里。这段幸福的生活虽只有“二三载”，在整个人生旅程中是短暂的，却因两心相照，“如鱼似水”般的和谐而令人难忘。“良天好景”三句承上而来，写出了词人为留住这份恋情而小心尽意的情态，一“良”一“好”，写出了相聚时光的美好；一“深”一“多”，写出了自己对妻子的爱恋情深。“奈何伊”三句转而写女子的性情和骄纵，这又是紧承上一层意思而来，正因为词人的“尽意依随”，才使得妻子放纵恣肆，撒娇任性，有时简直无法忍受。接下来，“无事孜煎”三句，重笔渲染相恋双方时时因琐事而生纠葛，但终因情意绵绵不忍分离。“怎忍”二字写出了词人依依不舍的情态，”分离“二字又为下片写离别后相思之情做铺垫。这一串直言不讳的回忆，平中见奇，层次井然，章法分合有序，给人以曳生姿的美感。
词的下片转而伤今。“而今渐行渐远”二句，紧承上片而意脉不断，一个“而今”便将全词由忆旧转为伤今。“远”字加大了空间与情感的距离，三个“渐”字，以细腻的笔触极为准确地变现了词人渐行渐远，愈加难以抑制对所爱的相思之情，“虽悔难追”则写出了懊悔轻别而又已然分别的矛盾和无奈。这两句虽只有十二字，却交代了词人此刻的处境、心情，含蕴深厚。根据这种情形，即使寄去消息，终究也是白费。分别的双方固然可以飞雁传书，但接下来词人却否定了这种做法，“漫寄消寄息，终久奚为”，分别用了“漫”、“奚为”等词，委婉地道出了唯有相聚方能解相思之苦。“消息”两字分用，是一种修辞方法。“也拟重论缱绻”承接上句，直写自己有意和妻子复合，已不再似前句那般委婉。“争奈翻覆思维”写词人反复思考，“争奈”表转折，“翻覆思维”为下文作铺垫，说明词人接下来的话并不是随后一说，而是经过深思熟虑的。“纵再会，只恐恩情，难似当时”，这几句丧气话，表面看来有点煞风景，但实际是一个久经忧患者对人情世故的清醒认识，是情感和哲理的巧妙结合。
柳永的这首词在写法上颇具特色，同是思慕爱人，“所谓伊人，在水一方。溯洄从之，道阻且长。溯游从之，宛在水中央”（《国风·秦风·蒹葭》）是含蓄的写法，“求之不得，寤寐思服。悠哉悠哉，辗转反侧”（《国风·周南·关雎》）是直露的写法。柳永的这首词就是“辗转反侧”式的，而且更加赋化，更加直露，更加一览无遗。写尽了他对所爱的种种相思。他和前人写男子思恋反托女子口吻，且要借助高远意象，如李白《玉阶怨》“玉阶生白露，夜久侵罗袜。却下水晶帘，玲珑望秋月”不同，也和同时代的词人，只是点到为止，随即便借助深邃的景语宕开，如晏殊《蝶恋花·槛菊愁烟兰泣露》“昨夜西风凋碧树，独上高楼，望尽天涯路。欲寄彩笺兼尺素，山长水阔知何处”不同，他只以自己的口吻直露地抒情，一泄无余，一吐为快。