诗作前部分叙写古人事迹，以之为衬托表明自己坚决辞职隐居的意志与行为。诗作后部分写自己返家行程中的景象及感想。诗中抒发了去官还家、获得解脱的愉悦心情。诗中写景不多，却极为清丽动人。
一至十句自述隐居丘园之志。
先对几位古人加以评价：西汉的彭宣、薛广德、贡禹虽有高名，但只能说是优于贪婪奔竞之徒，还说不上是懂得养生缮性。彭宣和薛广德，班固《汉书》对他们评价颇高，称其“近于知耻”（《汉书·叙传》）；谢灵运却说他们“裁知耻”而已，并不十分推崇。贡禹曾为河南县令，因受上司责备，便辞官而去。后又出仕，元帝时为光禄大夫，以年迈求退，为皇帝所挽留，进为御史大夫。诗人认为他并未能遗弃荣华富贵。评论古人只是陪衬，目的是表明自己的志向不仅是不贪竞而已，而且要做到“达生”。《庄子》有《达生》篇，说“达生之情者，不务生之所无以为；达命之情者，不务知之所无奈何”，认为人之性分有定，不可勉强致力于性分之外的事。
篇中又说欲存生养性，莫如弃世而无所牵累。诗人正以此种思想作为隐退的精神支柱。其具体的打算，则是“庐园当栖岩，卑位代躬耕”。《山居赋》云：“古巢居穴处曰岩栖，传说古代隐士也有过此种原始生活者。但诗人毕竟做不到这样，故有所变通，以田园当作岩栖。他也不能真的耕稼自给，故欲学习古代一些达士的做法，安于卑位，以薄俸为生生之资。他说自己拙于仕宦，讷于言辞，故欲选择这样的生活道路，不过以往行迹尚未能与此种生活理想相一致。这可说是诗人对往昔生活的一个总结。
十一至二十句写去职。
先举周任、司马相如、尚子、邴生以自比。诗人说自己在种种方面都类似于上举那些淡泊明志的古人。自晋安帝义熙元年（405年）至景平元年（423年），实得十八年，说“二十载”是约略言之。二十年来做违心的事，心情是悒郁的；而今终于摆脱了送往迎来等等俗务，其快意可知。
二十一句至三十二句写初去郡途中的所见所感。
“理棹”以下四句写其水陆行程。为早日还家，乃疾速行舟。遄、鹜二字表现出心情之急迫。“理棹”二句已兼写水陆，“溯溪”二句又写水涉山行，但不觉累赘，因读者可由此充分想象其行进的画面，感受到行程的漫长辛苦。“野旷”二句是写景名句，景中其实有情。清旷无际的风景正与诗人心境相应。久被絷牵，一朝脱去，自感到无限的开朗、轻快，故触目皆成佳趣。
“憩石”二句写山林小憩情景，暗用《楚辞》典故：《九歌·山鬼》：“山中人兮芳杜若，饮石泉兮荫松柏。”又《离骚》：“朝饮木兰之坠露兮，夕餐秋菊之落英。”熟悉典故的读者可于言外获得一种清幽芳洁之感。“理棹”四句写疾速前行，途程漫漫，“野旷”四句写赏玩风物，途中小憩，形成情绪和内在节奏的对比；而其心情之急迫与愉悦，都得到了表现。由愉悦的心情、悠然的意绪，进而引发出一番情理相融的议论：高尚之志战胜了富贵之欲，胸襟旷然，则臞者可肥；以止水为鉴，则流荡不返者将归于宁静清明。（二句用《韩非子·喻老》和《庄子·德充符》典故）心灵获得了自由宁静，则即使处于纷乱奔竞之世，也等于是归真返璞，回到了伏羲、唐尧时代，可以无拘无束、怡然自得了。传说尧时百姓无事，有老者击壤而歌曰：“日出而作，日入而息。凿井而饮，耕田而食。帝力何有于我哉！”诗人用此典故，似有“人生如此自可乐，岂必局束为人靰”（韩愈《山石》）之慨，且使人隐约感到他与当权者关系之不和谐。
谢灵运去郡之志是坚定的。当时其堂弟谢晦等人都写信劝他不要离职，他执意不从。不过他并非一贯恬退之人。《宋书》本传说他“自谓才能宜参权要，既不见知，常怀愤愤”。其出为永嘉太守，正是与当权者矛盾的结果。他之去郡，乃是一种不合作态度的表现。明乎此，对于此诗的理解便可更深入一层了。
这首《渔家傲》援禅家语入词，以增加其理趣。所演绎的是南岳临济宗福州灵云志勤和尚的故事。
首三句，讲灵云三十年茫昧混沌，几番出入于迷悟之间。最后一见桃花，终于参悟。此用来比喻灵云三十年来的不彻不悟。“得眼迷照”，是说灵云几次将悟还迷。佛家有“五眼”之说，即肉眼、天眼、慧眼、法眼和佛眼。其中肉眼和天眼只能看见世间虚妄的幻象，慧眼和法眼才能看清事物的实相。因此，此处的“眼”，当指慧眼或法眼。“参学了”的“了”，作“完成”讲。
下面两句讲灵云参悟的境界。“呈法要”即是得佛法的意思。“无弦琴”，用陶渊明故事。“（渊明）不解音律，而蓄无弦琴一张，每酒适，辄抚弄以寄其意”（萧统《陶靖节传》）。黄庭坚以此作比，意阐释至法无法的禅理。
词的下片，由灵云之事生出感想，这里所着重阐扬的，仍是“顿悟”之说。黄庭坚看来。灵云三十年的蹉跎，是大可不必的。因为他身上，顿悟之中尚有“渐”的痕迹。诗的末句所揭示的就是纵横自如，纯任本然的意境。
首联“涨减水愈急，秋阴未夕昏”所写之景，实际是交待诗人之所以“泊樵舍”的原因：曾上涨的洪水虽正在消退，但水势却比洪水上涨时还要湍急，故不宜行进。这一句不仅写出“泊樵舍”之由，还有其耐人寻味的言外之意，即间接反映了洪水上涨时水势亦甚“急”可以想成其造成的灾害不小。此时，洪水消退当然是好事，但因“愈急”却造成航程的艰险，使人产生担忧不安之感。后句写天空笼罩着秋天的阴云，未至傍晚江面已一片昏暗，亦不宜盲目行进，同时这句又形成令人精神压抑的氛围。这两句之景虽旨在说明作者之所以泊樵舍一是水急，二是天昏，但其中流露出的担忧不安则为全诗定下了低沉的感情基调。
颔联“乱山成野戍，黄叶自江村”，乃描写诗人泊樵舍镇时远望之所成：那新建县之名胜西山到处是军队野外驻扎的营幕，这不仅使风景绝佳之地大煞了风景，更暗示了社会的动乱不安，以“乱山”称西山，即增添了乱世之感；于江岸上的村庄中，诗人只成黄叶飘零，这恰如杜甫《春望》写“城春草木深”一样，乃“明无人”（司马光《续温公诗话》）矣，即百姓四处逃散，这荒寂的江村显得异常萧条。这正是清初战乱的生动写照。
颈联“带雨疏星成，回风绝岸喧”，则转写近处江岸立体空间之所成所闻。仰望天色已晚，闪现出稀疏的星斗，但并未给诗人明朗悦目之感。因为“秋阴”，所以天开始飘洒秋雨，使疏星“带雨成”；耳听则觉回旋的江风，在岸壁间呼啸，显得凄厉，回风再卷起涛声，则令人恐惧矣。前句是静态，后句是动态，静与动的秋风秋雨给人带来亦是凄楚与不安。
尾联回写江上之所成：“经过多战舰，茅屋几家存？”“战舰”乃官家兵船，与“乱山成野戍”呼应；“茅屋”是百姓住所，与“黄叶自江村”呼应。前句是实写，“战舰多”，使人感到政局形势严重，社会秩序混乱；后句是虚写，“几家存”以问句出之，实指“无家存”。两相映衬，益成形势动荡、百姓流离的现实，其中充满诗人深重的忧虑。
这首诗写景采取由远及近的视角：先写江岸“乱山”与“江村”，继写“绝岸”，终写江面，画面颇成层次，意境显得深远。表面看，这是首景物诗，全诗四联皆写景，其实其“景语皆情语也”（王国维《人间词话》）。每一联之景都内含诗人或郁闷、凄苦或不安、忧虑之情，但并不直露，全蕴藏于具体景物的意象之中，诗之风格仍偏于平和。