前四句写栽种、花开。“莲枝未长秦蘅老”（秦蘅也是一种香草），点明是暮春时节，“走马驮金”是说牡丹价格之高，斸就是挖，春草就是牡丹。“水灌香泥却月盆”是说牡丹的种植环境是“香泥”和“却月（半月形）盆”；“一夜绿房迎白晓。”绿房指花苞，迎白晓指迎着黎明开放。
中间四句既写花期不久，亦写贵族富贵不常在。“美人醉语园中烟，晚花已散蝶又阑。”一句写牡丹繁盛之时国色天香，美艳动人，像娇媚的美人在园中烟雾里嫣红若语。但这个美景不常在，黎明开放晚上就花散蝶飞，极写繁荣之景之短促。“梁王老去罗衣在，拂袖风吹蜀国弦。”“梁王”指汉文帝的儿子梁孝王刘武，这里借指上文中“走马驮金”的老一代贵族。“蜀国弦”乐府曲名，代指音乐。全句说，老一代的贵族渐渐老死（势力渐微），但是他的下一代仍穿着罗衣，合着音乐赏花玩乐。
后四句接上文，继续借物寓人，以花写人。“归霞帔拖蜀帐昏，嫣红落粉罢承恩。” “归霞帔拖”写残花之景，像衣帔下垂，蜀帐即用蜀纸做的护花罩。全句说，花儿凋零，花帐也失去了光彩，嫣红的花朵飘落，失去了主人的宠爱。隐喻老一辈贵族老死，新一辈贵族失去了当权者（皇帝）的宠爱和恩泽。“檀郎谢女眠何处？楼台月明燕夜语。”檀郎：潘岳，小名檀奴，谢女：谢安蓄妓；檀郎谢女借指贵族青年男女。楼台：当年观花处。全句说：贵族的青年男女又有什么归宿呢，当年喧嚣一时的观花楼台只有燕子在明月下対语。
这首诗分三个层次，由起句到“况乃陵穷发”为第一层，写倦游赤石，进而起帆海之想。由“川后”句至“虚舟”句为第二层次，正写帆海情状与心态变化。“仲连”句以下，为第三层次，即游生想，结出顺天适己，安养天年之旨。心情的变化则是贯串全诗的主线。
“首夏”二句遥应《游南亭》诗“未厌青春好，已睹朱明移”，既点明此游节令，又显示了一种莫可如何而慰情聊胜无的复杂心情。游南亭触景生情，由春夏迭代中，深哀盛年已去，衰疾在斯。这里说，初夏了，天气总算还清爽煦和，芳草也未尝因骄阳的淫威而枯萎。可见诗人似乎已从前诗的悲感中稍稍复苏。尤可注意：“芳草犹未歇”，实反用《离骚》“及年岁之未晏兮，时亦犹其未央，恐鹈鴂之先鸣兮，使夫百草为之不芳”，则又于自幸自慰中，见出谢客这位“逐臣”的傲兀性格来。但是这种欣慰并不能维持多久，在出郡数十里南游赤石中，日复一日地水行水宿，未免单调，而阴晴的变化，云霞的出没，也因屡见而失去了新鲜之感。这滨海的周游，已使人厌厌生“倦”，更何况面临的是极北不毛之地，穷发更北的溟海呢。有人认为“况乃临穷发”是写诗人豪情勃发，顿起泛海之想，然而“况乃”二字分明承“倦瀛壖”来，见出帆海之前，诗人的心情并不甚佳。
然而当舟船沿港湾进入大海，奇景忽开，水面一平如镜，川后既令江水安流，八首八足八尾背青黄的朝阳谷神水伯天吴，虽然脾气暴虐，此时却也“静不发”，仿佛都在迎接诗人的来游。于是他高张云帆，泛舟海上，随意掇取那形如龟足的石华，那其大如镜白色正圆的海月。而当他抬头回望时，溟海无涯，心情也竟如坐下的轻舟而起凌虚凭空之想。
出涯涘而观大海，诗人之所感，必也与《庄子·秋水》中那位河伯一样，涵容无尽的海波，真使他心胸开张，一扫积日累月的烦酲。于是他即游生想，远追往古，进而悟彻了人生的至理：海上曾有过形形色色的隐者，有助齐却燕，功成辞赏而退的鲁仲连；也有“身在江海之上，心居魏阙之下”的公子年（见《庄子·让王》）。形踪虽似，而其趣迥异。后者只是矜伐虚名的假隐士，与庄子所说的“无以得殉名”（《秋水》）格格不入，有亏大道。而似鲁仲连所说“吾与富贵而诎于人，宁贫贱而轻世肆志”，才深合漆园傲吏物我两忘，适己顺天，“返其真”的至理。两者相较，诗人似乎对自己既往自负任气蹙蹙于一己得失的生活有所警省，他愿意铭记《庄子·山木》中太公任（任公）教训孔子的一段话：“直木先伐，甘泉先竭”。露才扬己，必遭天伐，唯有“削迹损势”，澡雪精神，中充而外谦，才能养生全年——这正与渊深无底，广浩无涯，却一平如镜的大海一样。诗至此，情景理完全契合无际。
方东树《昭昧詹言》曾指出，谢客博洽而尤熟于《庄》，此诗不仅取义于《庄子》，而且在构想上也有得于《秋水篇》。诗以赤石为宾，帆海为主，以“周览倦瀛壖，况乃陵穷发”与“溟涨无端倪，虚舟有超越”两联作转折顿束，遂在层曲的写景抒情中表达了出涯涘而睹汪洋所引起的精神升华，情与理与典实均能合若符契，足见谢诗结构之精。
此诗的情理又都在自然精美的写景记游中自然地体现。“扬帆采石华，挂席拾海月”，海产珍奇，而俯拾皆是，可见诗人扬帆于暖风静海中盈满心胸的恬适之感，于是下文请从任公适己顺天之想也就水到渠成了。鲍照评谢诗云“如初发芙蓉，自然可爱”（《南史·颜延之传》），正是指的这种中充实而溢于外，风华流丽而不伤于巧的语言特色。
