此诗的前两句写眼前的春景。时当晚春，细雨廉纤，像织就了一张丝网，想要网住春光。这句是宋人以文为诗的典例，短短七个字，却有多层意思：小雨丝丝，描绘小雨飘飘洒洒，绵密轻飏，是一层意思；由雨丝的状貌，想到了真正的蚕丝，又是一层意思；由雨丝交织的状况，想到由丝织成的细网，是一层意思；由暮春时令及网，想到眼前的雨似乎想把春网住，即把春留住，又是一层意思。这样写，层层递进，设想及比喻都十分新颖。尤其是“网春”二字，道人所未道，令人拍案叫绝。就这么一句话，便将诗人感叹春日易过、逝水难回的心情表达得淋漓尽致。然而春天毕竟是留不住的，所以第二句放手写残春。眼前是落花狼藉满地，天色黯淡，已近黄昏。这句是景语，也是情语。上句的小雨，这句的落花、黄昏，这清冷凄凉的境地，正如李清照词所表达的：“梧桐更兼细雨，到黄昏、点点滴滴。这次第，怎一个愁字了得！”（《声声慢·寻寻觅觅》）诗人正是借景吐露自己寂寞难忍的情愁。
上两句是借景抒情，后两句便因情写景。首先用翟公罢官后门可罗雀的典故，说自己罢官后门前冷落的情况；然后写自己在归巢的鸟儿的鸣叫声中，关上了家门。上句感叹世情冷暖，下句写寂寞无聊的哀伤。“宿鸟”应上半的黄昏，以鸟声衬托前句门前的冷落，“自掩门”的“自”字，充满了落魄的感叹。既然门可罗雀，没人来访，门自然用不着开，可他的门居然开了一天，到这时候，暮色沉沉中，他才去关门。这举动等于告诉人们，他是多么希望有人来，黄昏关门是何等无可奈何，他关的不单单是一扇门，又关闭了一整天的等待与期望。这样一折，上句“车尘不到张罗地”的愤疾更为加深，诗人不甘寂寞的心情也暴露无遗了。
李弥逊被罢官后，心情不佳，所以反映到笔下的春景也是如此低沉，可见他胸中渟蓄着无数的不平。在官场时，感于官场的复杂与黑暗，想要挂冠归隐，与麋鹿为友；一旦真正被排挤，回到家中，无所作为，又会因报国无门而感叹寂寞，愤愤不平，大多数正直而有志向的文人，几乎都碰到过这类矛盾。李弥逊是如此，被人们普遍称赞的司马光也是如此。司马光罢官后也作过一首与李弥逊类似的诗，中有句云：“故人通贵绝相过，门外真堪置雀罗。”愤疾之情，溢于言表。
诗以春暮黄昏，落花狼藉寄托政治上的失意，与欧阳修《蝶恋花》词下半阕（“雨横风狂三月暮，门掩黄昏，无计留春住。泪眼问花花不语，乱红飞过秋千去”）非常相似。
这首诗分三个层次，由起句到“况乃陵穷发”为第一层，写倦游赤石，进而起帆海之想。由“川后”句至“虚舟”句为第二层次，正写帆海情状与心态变化。“仲连”句以下，为第三层次，即游生想，结出顺天适己，安养天年之旨。心情的变化则是贯串全诗的主线。
“首夏”二句遥应《游南亭》诗“未厌青春好，已睹朱明移”，既点明此游节令，又显示了一种莫可如何而慰情聊胜无的复杂心情。游南亭触景生情，由春夏迭代中，深哀盛年已去，衰疾在斯。这里说，初夏了，天气总算还清爽煦和，芳草也未尝因骄阳的淫威而枯萎。可见诗人似乎已从前诗的悲感中稍稍复苏。尤可注意：“芳草犹未歇”，实反用《离骚》“及年岁之未晏兮，时亦犹其未央，恐鹈鴂之先鸣兮，使夫百草为之不芳”，则又于自幸自慰中，见出谢客这位“逐臣”的傲兀性格来。但是这种欣慰并不能维持多久，在出郡数十里南游赤石中，日复一日地水行水宿，未免单调，而阴晴的变化，云霞的出没，也因屡见而失去了新鲜之感。这滨海的周游，已使人厌厌生“倦”，更何况面临的是极北不毛之地，穷发更北的溟海呢。有人认为“况乃临穷发”是写诗人豪情勃发，顿起泛海之想，然而“况乃”二字分明承“倦瀛壖”来，见出帆海之前，诗人的心情并不甚佳。
然而当舟船沿港湾进入大海，奇景忽开，水面一平如镜，川后既令江水安流，八首八足八尾背青黄的朝阳谷神水伯天吴，虽然脾气暴虐，此时却也“静不发”，仿佛都在迎接诗人的来游。于是他高张云帆，泛舟海上，随意掇取那形如龟足的石华，那其大如镜白色正圆的海月。而当他抬头回望时，溟海无涯，心情也竟如坐下的轻舟而起凌虚凭空之想。
出涯涘而观大海，诗人之所感，必也与《庄子·秋水》中那位河伯一样，涵容无尽的海波，真使他心胸开张，一扫积日累月的烦酲。于是他即游生想，远追往古，进而悟彻了人生的至理：海上曾有过形形色色的隐者，有助齐却燕，功成辞赏而退的鲁仲连；也有“身在江海之上，心居魏阙之下”的公子年（见《庄子·让王》）。形踪虽似，而其趣迥异。后者只是矜伐虚名的假隐士，与庄子所说的“无以得殉名”（《秋水》）格格不入，有亏大道。而似鲁仲连所说“吾与富贵而诎于人，宁贫贱而轻世肆志”，才深合漆园傲吏物我两忘，适己顺天，“返其真”的至理。两者相较，诗人似乎对自己既往自负任气蹙蹙于一己得失的生活有所警省，他愿意铭记《庄子·山木》中太公任（任公）教训孔子的一段话：“直木先伐，甘泉先竭”。露才扬己，必遭天伐，唯有“削迹损势”，澡雪精神，中充而外谦，才能养生全年——这正与渊深无底，广浩无涯，却一平如镜的大海一样。诗至此，情景理完全契合无际。
方东树《昭昧詹言》曾指出，谢客博洽而尤熟于《庄》，此诗不仅取义于《庄子》，而且在构想上也有得于《秋水篇》。诗以赤石为宾，帆海为主，以“周览倦瀛壖，况乃陵穷发”与“溟涨无端倪，虚舟有超越”两联作转折顿束，遂在层曲的写景抒情中表达了出涯涘而睹汪洋所引起的精神升华，情与理与典实均能合若符契，足见谢诗结构之精。
此诗的情理又都在自然精美的写景记游中自然地体现。“扬帆采石华，挂席拾海月”，海产珍奇，而俯拾皆是，可见诗人扬帆于暖风静海中盈满心胸的恬适之感，于是下文请从任公适己顺天之想也就水到渠成了。鲍照评谢诗云“如初发芙蓉，自然可爱”（《南史·颜延之传》），正是指的这种中充实而溢于外，风华流丽而不伤于巧的语言特色。
