诗分三段，每段八句。第一段写古时进贡荔枝事。历史上把荔枝作为贡品，最著名的是汉和帝永元年间及唐玄宗天宝年间。“十里”四句，写汉和帝时，朝廷令交州进献荔枝，在短途内置驿站以便飞快地运送，使送荔枝的人累死摔死在路上的不计其数。“飞车”四句，写唐玄宗时令四川进献荔枝，派飞骑送来，到长安时，还是新鲜得如刚采下来一样，朝廷为了博杨贵妃开口一笑，不顾为此而死去多少人。这一段，抓住荔枝一日色变，二日香变，三日味变的特点，在运输要求快捷上做文章，指出朝廷为饱口福而草菅人命。这一点，杜牧《过华清宫绝句》“一骑红尘妃子笑，无人知是荔枝来”已作了描写，苏诗中“知是荔支龙眼来”、“宫中美人一破颜”句就是从杜牧诗中化出。但杜牧诗精警，苏诗用赋体，坐实了说，博大雄深，二者各有不同。
“永元”起八句是第二段，转入议论感慨。诗人以无比愤慨的心情，批判统治者的荒淫无耻，诛伐李林甫之类，媚上取宠，百姓恨之入骨，愿生吃其肉；感叹朝廷中少了像唐羌那样敢于直谏的名臣。于是，他想到，宁愿上天不要生出这类可口的珍品，使得百姓不堪负担，只要风调雨顺，人们能吃饱穿暖就行了。这段布局很巧，“永元”句总结第一段前四句汉贡荔枝事，“天宝”句总结后四句唐贡荔枝事，“至今”句就唐事发议论，“无人”句就汉事发议论，互为交叉，错合参差，然后用“我愿”四句作总束，承前启后。
“君不见”起八句是第三段，写近时事。由古时的奸臣，诗人想到了近时的奸臣；由古时戕害百姓的荔枝，诗人想到了近时戕害百姓的各种贡品。诗便进一步引申上述的感叹，举现实来证明，先说了武夷茶，又说了洛阳牡丹花。这段对统治者的鞭挞与第一、二段意旨相同，但由于说的是眼前事，所以批判得很有分寸。诗指责奸臣而不指责皇帝，是诗家为尊者讳的传统。就像杜甫《北征》“不闻夏殷衰，中自诛褒妲”，写安史之乱而为玄宗开释；李白《巴陵送贾舍人》“圣主恩深汉文帝，怜君不遣到长沙”，写才士被贬，反说皇帝大度。苏轼在这里用的也是这种“春秋笔法”，很显然，他不仅反对佞臣媚上，对皇帝接受佞臣的进贡，开上行下效之风，使百姓蒙受苦难，他也是十分不满的。这一段，如奇军突起，忽然完全撇开诗所吟咏的荔枝，杂取眼前事，随手挥洒，开拓广泛，且写得波折分明，令人应接不暇。而诗人胸中郁勃之气，一泻而出，出没开阖，极似杜诗。
全诗有叙有议，不为题囿，带有诗史的性质，因此清方东树等的赞誉。
本首诗是诗人《渔父歌》五首的姊妹篇，作者以“南溪老人”来比喻自己，通过写渔父的悠闲垂钓的生活，来暗喻作者自己此时的闲隐生活。此诗表达出作者淡泊、澄洁的高远情志。
“八月九月芦花飞，南谿老人重钓归”两句是说秋高气爽，扁舟垂纶的的老渔父伴着夕阳的余晖划舟而归，晚风悠悠，芦花飘飘，溪水清清，波光粼粼。
“秋山入帘翠滴滴，野艇倚槛云依依”是说临岸系舟，举目远望，翠色怡人，满山的青草绿树像洗染过一样，散发着浓浓的绿意。白云翩翩然点染在秋日的蓝天上，映照着横在水面上的野艇，更增加了几分“行到水穷处，坐看云起时”的自然情趣，那是一种委运任化，悠然自得的生命意识。诗人取景不惑，行云流水般的语言描绘出一幅秋溪摆钓图，字里行间飘荡着一种轻灵的气息。作者采用由远至近的审美视角，秋山、野艇的仰视之间流淌着“脆滴滴”“云依依”的生命色彩，充彻着一种虚静的宇宙意识。
“却把渔竿寻小径，闲梳鹤发对斜晖”，景物的转换深处是归家路途的缓缓延伸，弯弯曲曲的小径，踏着秋日的余晖，手把钓竿的老渔父正在悠闲地拢梳着那满头稀疏的白发，路在脚下徐徐延伸。老人脸上微微的笑意，那是洗尽尘滓，超然世外的满足感，诗人运用绘画的艺术手法，描绘出包孕性的瞬间。
“闲梳鹤发对斜晖”则是完美地传递出老渔父自在悠闲的心理状态。“小径”颇有象征意味，不妨看作是一条自然出世的桃源路。
尾句“翻嫌四皓曾多事，出为储皇定是非。”诗人认为四皓未绝尘俗，舍却隐居生活的安逸，卷入宫廷废立的纷争，不免多管闲事。此处议论，运用典故，顺景延情，文理自然，意到笔随，并将作者的人生观鲜明的表达出来。李德裕称张志和“隐而名彰，显而无事，不穷不达，其严光之比”（《玄真子渔歌记》）。
《渔父》的尾联正是他人生观最恰当的注解。“古来闲着，多隐于渔”（刘克庄《木兰花慢·渔夫词》），张志和从个体生命的体验出发，塑造了林泉高致的“渔父”形象，并运用富有感受力的艺术心灵捕捉贴切的审美意识：芦花、秋山、白云、野艇、斜晖……无不流淌着诗人对高蹈超逸的隐居生活的热爱之情。理想化，审美化的隐逸生活暗含着一种对自我人生价值的潜在肯定，以及对时代隐隐的不满、失望之情。孔子曰：“道不行，乘桴浮于海。”落寞的中唐时代赋予了性好道学的张志和更多出世的生命情怀，促使他吟唱出了一曲曲美丽的“渔夫”之歌。
词通过写杏花的凋零，借以哀伤自己悲苦无告、横遭摧残的命运。词之上片先以细腻的笔触工笔、描绘杏花，外形而及神态，勾勒出一幅绚丽的杏花图。近写、细写杏花，是对一朵朵杏花的形态、色泽的具体形容。杏花的瓣儿好似一叠叠冰清玉洁的缣绸，经过巧手裁剪出重重花瓣，又逐步匀称地晕染上浅淡的胭脂。朵朵花儿都是那样精美绝伦地呈现人们眼前。“新样”三句，先以杏花比拟为装束入时而匀施粉黛的美人，她容颜光艳照人，散发出阵阵暖香，胜过天上蕊珠宫里的仙女。“羞杀”两字，是说连天上仙女看见她都要自愧不如，由此进一步衬托出杏花的形态、色泽和芳香都是不同于凡俗之花，也充分表现了杏花盛放时的动人景象。
以下笔锋突转，描写杏花遭到风雨摧残后的黯淡场景。春日绚丽非常，正如柳永《木兰花慢》中所云：“正艳杏烧林，缃桃绣野，芳景如屏。”但为时不久就逐渐凋谢，又经受不住料峭春寒和无情风雨的摧残，终于花落枝空；更可叹的是暮春之时，庭院无人，美景已随春光逝去，显得那样凄凉冷寂。这里不仅是怜惜杏花，而且也兼以自怜。试想作者以帝王之尊，降为阶下之囚，流徙至千里之外，其心情之愁苦非笔墨所能形容，杏花的烂漫和易得凋零引起他的，种种感慨和联想，往事和现实交杂一起，使他感到杏花凋零，犹有人怜，而自身沦落，却只空有“故国不堪回首月明中的无穷慨恨。”愁苦“之下接一”问“字，其含意与李后主的”问君能有几多愁，恰似一江春水向东流“亦相仿佛。
词之下片，以杏花的由盛而衰暗示作者自身的境遇，抒写词人对自身遭遇的沉痛哀诉，表达出词人内心的无限苦痛。前三句写一路行来，忽见燕儿双双，从南方飞回寻觅旧巢，不禁有所触发，本想托付燕儿寄去重重离恨，再一想它们又怎么能够领会和传达自己的千言万语？但除此以外又将凭谁传递音问呢？作者这里借着问燕表露出音讯断绝以后的思念之情。“天遥”两句叹息自己父子降为臣虏，与宗室臣僚三千余人被驱赶着向北行去，路途是那样的遥远，艰辛地跋涉了无数山山水水，“天遥地远，万水千山”这八个字，概括出他被押解途中所受的种种折磨。回首南望，再也见不到汴京故宫，真可以说是“别时容易见时难”了。
以下紧接上句，以反诘说明怀念故国之情，然而，“故宫何处”点出连望见都不可能，只能求之于梦寐之间了。梦中几度重临旧地，带来了片刻的慰安。结尾两句写绝望之情。晏几道《阮郎归》末两句“梦魂纵有也成虚，那堪和梦无”，秦观《阮郎归》结尾“衡阳犹有雁传书，郴阳和雁无”，都是同样意思。梦中的一切，本来是虚无空幻的，但近来连梦都不做，真是一点希望也没有了，反映出内心百折千回，可说是哀痛已极，肝肠断绝之音。
作者乃北宋著名书画家，其绘画重高写生，以精工通真著称于世。这种手法于此词的景物刻画中也有所体现，尤其上片对杏花的描绘，颇具工笔画的意蕴。