如诗题所示，这是一首怀古诗，从其字面上看，怀念的是汉成帝的皇后赵飞燕。赵飞燕善歌舞，以体轻号曰“飞燕”，被召入宫，先为婕妤，不久立为皇后。其妹赵合德亦为昭仪，姊妹专宠十余年。后因成帝倾心合德，飞燕渐被疏远。
全诗四句，字面意思分两层。一、二句为一层，写汉家宫中对赵飞燕的指责。“数”字，为两句的关键性动词，“赵家妆”和“败雨残云误汉王”都是“数”的“宾语”，即赵氏被指贵的瑕疵。“赵家妆”，据《汉书》《飞燕别传》等记载，赵氏在宫，妆饰奢华，“自后宫未尝有焉”，飞燕“喜隅步行，者入手执花枝颇顿然，他人莫可学也”，李白《清平调》“借问汉宫谁得似，可伶飞燕倚新妆”，亦谓赵氏装束之新奇。而赵合德则喜绾“欣感愁鬓”。“败雨”句盖指赵氏姊妹与轻簿子弟私通事。赵氏在宫，当时就有人骂其为“祸水”，诗中用“只数”云云，已可见指责者之多。
三、四两句是第二层意思，在笔势和立意上都是大的转折，转而为赵氏申诉：在官中舆论口一边倒的指责声中，只有那“知情”的“一片月”，是亲眼看到赵飞燕是怎么样被汉成帝征召到昭阳宫的见证。飞燕出身甚微，本是阳阿主家的婢女。汉成帝到阳阿主家寻欢作乐，“见飞燕而说（悦）之”，硬是凭着皇帝的权威把飞燕带入宫中，占为己有。后来，插进一个赵合德，迷住了成帝。飞燕为了固宠，为了在倾轧无常的宫中立住脚跟，才与人私通，希望生个“太子”作靠山。在当时的宫中，能够体谅飞燕这番良苦用心的，看来只有那“一片月”了。凡此，皆应是三、四两句的内涵。诗作者箫观音在这里翻了一个历史大案、四两句，才正式转笔，一反历史的成见，缠绵而含蓄地袒露了自己深沉的思索。这样，单从字面意义上看，这首诗心存忠厚，思绪缠绵，用语含蓄，立义分明，气度和雅，确已显示了一定的思想和艺术的高度。
但这首诗并非单纯“怀古”，而是揉进了作者的自我身世之感，借言人的酒杯，浇自己的块磊，所谓托意而作也。
诗的首联说杨瑗因为家中有年老的父母须要奉养，所以不嫌南海荒僻而赴任，孝情可感。古人有亲老不择官的说法，《说苑·建本》：“子路曰：‘负重道远者不择地而休，家贫亲老者不择地而仕。’”此诗即用其意。这两句在赞美杨瑗孝顺老亲的同时，已经暗含了不宜前去南海为官的意思；如果不是父母年老，当官是不会选择这样的荒蛮之地的，更何况不过是县尉这样的小官。
颔联言南海的风土人情，与中原大地不同。此处提及“海市蜃楼”和“鲛人”，意在强调其地独特的风土人情。海市蜃楼在今人看来乃是人间胜景，但在南海这个特定的环境里，未尝不是边远怪异之象，如韩愈所说：“涨海连天，毒雾瘴氛，日夕发作。”（《潮州刺史谢上表》）而当地居民也多“非我族类”的鲛人，未尝开化，很难交流。设想朋友就要到这样的地方去生活，虽只是平实写来，而矜悯之情，自然流露于言外。这两句描写南海的奇异风物，自然有岑参好奇的因素，但主要还是形容其地荒蛮，不适合北方人居住。
颈联继续描写南海的风物，色彩则趋于明朗。海边夏雨气象阔大，岭上春花色彩鲜明。律诗中的第三联是要“转”一下的，作者也不愿过多渲染南海生活环境不如人意，毕竟还是要安慰一下远行者，所以又从劝慰的角度讲此处风景之美。
诗人在尾联对杨瑗亲切嘱咐：南海这个地方多产宝玉，你千万不要嫌厌那里生活的清贫。诗人语气如此沉重，本意是要朋友转换心态，结果反而可能强化对方忧远伤别的心理；不过从中可以看出诗人对朋友一片殷勤珍重的关怀之意。诗人下笔也有言外之意，既然南海多宝玉，何必加一“慎”字，可见他真正的意思是希望杨瑗以节操清廉为重。
在唐代，今天的两广地区还是尚未开化的蛮夷之地，说起来也算是“边塞”了。只不过那里并没有成就功名的机会，派去那里做官，多数情况下是一种贬谪和惩罚措施。韩愈被贬谪潮州时心情就极度郁闷，担心自己不再能生还，写诗对侄孙韩湘说：“知汝远来应有意，好收吾骨瘴江边。”所以当朋友要去南海做一个小小的县尉时，岑参赠别的基调就是同情和安慰。