《庄子》《列子》二书中都记有这样两个有趣而发人深省的故事。一说，列御寇为伯昬（昏的异体字）无人射，列子技艺精湛，手平如砥，甚至能放一杯水在肘上，箭方去而未至靶，杯水又重新落到肘上。然而伯昬无人说“是射之射，非不射之射也”。于是他“登高山，履危石，临百仞之渊，背逡巡，足二分垂于外”，列子惊怖，伏地汗流至踵。伯昬无人就说：“那些与天道同一的至人，上窥青天，下潜黄泉。挥斥八极，神气不变。现在你害怕得直瞬眼睛，可见你内心未明自然之理，不够充实啊。”另一则故事说孔子观乎吕梁，悬瀑三十仞，流沫三十里，连鼋黾鱼鼈之属都不敢过，然而却有一个男子在其中戏水，孔子以为他想自杀，命弟子去岸边救他，那人却上了岸，披发而歌，游于塘下。孔子问他：“游泳有“道”没有？”那人回答：“并无所谓道。只因从小生长于水边，所以能安于水。唯因顺从水之道而无我见存在，所以下水就能不知其然而然，与水化为一体。”这两个故事，曾被历代诗人无数次地运用过，但是却很少见有人能像谢灵运《富春渚》诗这样，用得如此灵活而贴切。
别过了始宁故宅，灵运又浮舟西南行，进入桐庐富阳县境的富春江。富春江有两个特色，一是清，二是险。梁吴均《与宋元思书》曾状其景：“水皆缥碧，千丈见底；游鱼细石，直视无碍；急湍甚箭，猛浪若奔。夹岸高山，皆生寒树，负势竞上，互相轩邈，争高直指，千百成峰。”正写出了这两方面的特色。山水是自然形态的东西，而以之入诗文，则不可避免地染上作者的主观色调。既清且险的富春山水，在卓荦不羁的吴均眼中合成了自由竞荣，勃勃生气的清奇，所谓“奇山异水，天下独绝”。在游子羁旅的孟浩然笔下则是“野旷天低树，江清月近人”，一片清怨；然而在刚为险恶的政治风浪抛掷出来，恃才傲物，一肚子不合时宜的谢客眼中，则是另一番景象。
夜中，诗人渡过了富春东三十里的渔潭浦，清晨舟抵富阳城外。六七十里外的定山、赤亭山是富春名胜，但诗人并不往游，只是向峰顶那缅渺的云雾远远一望，又匆匆驶去。起四句连下“宵济”，“旦及”、“无淹薄”三字，可见富春秀色，此时对意兴索寞的诗人来说并引不起多大兴趣，而远山上那萦青际白的云雾，似乎正象征着他不绝无尽的愁绪。忽然水势突变，逆流而上，惊浪急湍撞击着去舟；而崖岸曲折，参差凹凸，更处处阻遏着行程。这景象真是惊心动魄，诗人自己也不知如何飘过了这一段险泷，不禁深自庆幸：尽管自己并没有伯昬无人那种履险若夷的定力，却竟然如吕梁男子般惊险地闯过了这难关。待得惊魂稍停，他倒是悟出了一条至理。《易·习卦》：“水洊至习坎”，《艮卦》又说“兼山，艮，君子以思，不出其位”，“艮其止，止其所止”。意思是，虽有重险悬绝，而水仍相继而至，这是因为水性已习惯了山坎的缘故。艮即止义，两山相重，正象征着止息之义，君子当因此而引起思索，行于所当行，止于所当止，不要越过了自己的本位。《易》象正揭示了刚才经历凶险一举的内在含义。如果自己真能像伯昬无人与吕梁丈夫一样，内心元气充实，与自然合一，完全忘掉物我、利害、险夷之间的差别，顺乎自然之理，使行动与之不期而合，那么虽然多历风险，也可达到履险若常的境地。推而广之，生活亦正同于行舟，也当顺应自然之理，那么对不久前经历的仕途风波正不必如此耿耿于怀，怨天尤人。自己平生之志本在幽栖养生，二纪之前只因意志薄弱而出山，从此就困顿于世俗之事。希求为入仕干禄已过久了，直至今天总算有了机会实现对友朋许下的远游轻举的诺言。想到这里，诗人感到蛰伏已久为世事蒙蔽的宿愿渐渐得到了舒展生发，顿时眼前的万事就如枯叶朽枝般零落不足道了。思念及此，诗人感到胸怀开张，心地光明，就如庄子所说的神明虚空无所怀的神人一样，忘掉了自身存在而任物推移。从此就只要如那蛰伏以存身的龙蛇，以屈而求伸的尺蠖那样与世委蛇，善养天年就是了。
经过了富春渚后，谢客其实没有真能如诗中所说那样达到超人的境界。甚至就在浮江之际，他恐怕也未曾真正获得心理上的平衡。诗中所言，充其量，也只是即景生想，从理念的观照中得到一种感情的宣泄，这在谢诗其他各篇中不难看到。然而就作诗时一刹那间的感触而言，他却确实达到了情景理的圆融无碍。
全诗实分三个层次，前六句纪行写景；“平生”以下的最后八句是对自身人生道路的检讨与悟参。二者之间本不相涉，但却因中间四句的四个典故而连成了一体，这四个典，尤其是前面《庄》《列》二典用得十分巧妙。舟行富春山水际，而伯昬一典为山、吕梁一典为水，联想十分自然，且同用《庄》《列》更十分工致。山，水之典甚多，不用其它，而偏用这两个，则是因它们既在形象上深切富春山水的凶险，又暗蕴所以能履险若夷的理念。这个理念在诗中是用“亮乏”、“险过”的形式反说的，更切当时诗人的实感。由反到正，则再接用《易经》中一水一山两典，从而顺理顺章地引出了以下对生活历程的检讨。诗歌用典，从诗骚起即有，建安以后更渐成风气，但是用得典雅、精严，炉锤工致，成为作诗一大法门，却不能不说自大谢始，当然由此也带来了谢诗有时稍嫌晦涩之病。得失二方面在此诗中都反映得甚典型。这又是陶、谢诗风的一大区别。
此诗通过歌舞场面的描写，表现了中国古代各民族之间的友好感情，表现了广大人民对胡腾儿离失故土的深切同情，并寓以时代的感慨。全诗从正侧面表现人物的高超技艺，脉络清晰，结尾点睛，余韵悠远。
第一段描述胡腾儿原籍凉州（今甘肃武威），是“肌肤如玉”的白种人，隆准稍尖，鼻型很美；身着桐布舞衣，镶着的宽边如同前后卷起，以葡萄为图案的围腰，带子长长地垂到地面。这一段写得很朴实，字里行间浸透着诗人对艺人的深切同情。例如，胡儿最喜丝绸彩绣，“桐布”、“葡萄”也并非多美，诗人在此特书一笔，说明胡腾儿飘泊穷途，卖艺求生，又深恐破衣烂衫难以吸引看客；倾囊购置，也仅能置些民用布帛、自绣彩绘而已。
第二段描写舞蹈开始前的场面：“帐前跪作本音语，拾襟摆袖为君舞。安西旧牧收泪看，洛下词人抄曲与。”胡腾儿起舞之前，首先跪在帐前，向各位看客用“本音语”诉说家乡沦亡、同胞被杀的诸般苦情，然后“拾襟摆袖”，向诸位施礼，准备起舞。那曾在安西做过地方官的人强忍着眼泪观看，洛下词人也主动把自己写的歌词抄送给胡腾儿演唱。这段虽然仅写了“旧牧”含泪和诗人赠曲，但却显示出了一个很大的场面，写出了不同人的思想和表情。艺人先以汉民族的习惯而跪，再以本民族的习惯施礼，其友好之情可知；诗人也不管艺人能否读懂并演出自己的创作，真情相赠；众人报之以热泪；各民族之间的感情，在这里得到了充分的交流。
以下至篇末为第三段，是写艺人的舞蹈和诗人的感慨。看客们的同情使得胡腾儿大受感动：“扬眉动目踏花毡，红汗交流珠帽偏”。上句写“起始”动作，“扬眉动目”，可知表情丰富，义情激奋。下句写飞旋动作，垂珠斜飞，“红汗交流”可知舞得十分卖力。“醉却东倾又西倒，双靴柔弱满灯前”，进入另一种意境，上句既是写舞姿的妙曼，也是写他以舞蹈语言，痛陈离乡背井之苦。在舞蹈艺术中，“醉步”要求“形散神凝”，看似如醉如痴，飘忽不定，实则缓促应节，刚柔相生，是一种高难度的表演。下句写双腿飞旋，双靴闪动，恍如灯前闪烁出一层层柔弱的光圈。“环行急蹴皆应节，反手叉腰如却月。”“应节”二字，照应前后诸句。说他无论“环行”如轮，还是“急蹴”起跃，还是“反手叉腰如却月”的造型，都能丝毫不差地吻合着音乐的拍节；可知不论“踏花毡”的起步，还是“东倾又西倒”的醉步，还是“柔弱满灯前”的急旋，也无不与音乐的拍节相侔了。接着以点睛之笔兼写几个方面：“丝桐忽奏一曲终，呜呜画角城头发！”说伴奏的“丝桐”（弦乐器）忽停，表示了舞蹈的结束；舞蹈结束，方听得“画角”呜呜，又见看客们因全神贯注于音乐舞蹈，其他音响均不得干入其耳，烘衬出了舞技的超绝，引人入胜：“画角”发于城头，又说明时局紧张，岂止边地沦陷，京畿亦有烽火相照。时代气氛如此，不能不引起诗人深沉的感慨。
“胡腾儿，胡腾儿，家乡路断知不知？”这里说的“家乡路断”，并非指山川隔阻，而是指中原藩镇割据，唐王朝边事失利。这既表现了诗人对胡腾儿的深切同情，也暗含了对于中唐国事的叹惋。诗贵含蓄，收尾尤贵意在言外。如果说前面叙事端、写看客、状舞蹈，都能写得精炼而动人的话，那么这收尾四句却更富于余韵远响，具有耐人寻味的妙趣。卢纶盛赞李端：“校书才智雄，举世一娉婷。赌墅鬼神变，属词鸾凤惊。”中唐前期，诗歌暂处低潮，“大历十才子”多不擅长歌行。这首歌行，应该是当得起“举世娉婷”的赞誉的。
该诗借歌咏横波亭，热烈地赞颂了移剌粘合守土安民的功绩，希望移剌粘合为国效劳，收复被蒙古军侵占的西北国土。全诗气魄宏伟，格调高昂。
首联紧扣正题，从横波亭的雄峻落笔，描绘亭的高耸特立和非凡气势。“亭”前着一“孤”字，显示其独立不群；“亭”后着“突兀”二字，以状其高耸特出；再加“插飞流”三字，更着重突现这横波亭凌空横出的雄姿。河至海口，流速已是徐缓，诗人却在“流”前加一“飞”字，这就使凌空飞架的横波亭更有傲岸飞动之势。“气压元龙百尺楼”，是对横波亭豪雄气势的赞赏。陈登曾为官徐州，所以诗人借此典故与横波亭比较，进一步衬托了横波亭的高峻，而且赋予其志向旷远，超凡脱俗的色彩。在这一联中诗人巧用一“插”一“压”，使语意分外挺健。“插”字在状态中显其奇崛，“压”字在比照中显其气势，真可谓一字千钧，境界全出。
颔联接写横波亭周围环境之美。“万里风涛接瀛海”承“孤亭”句，从空间的角度着笔，实写横波亭凭高临远，可望见“飞流”奔人海口，与驱挟万里风涛的瀛海相接，写得气象壮阔，意境高远；“千年豪杰壮山丘”接“气压”句，从时间的角度着笔，虚写地处古徐州的横波亭周围山丘之壮美。山川环境陶冶着人的性格，人的杰出事迹亦在丰富着山川环境的人文内涵。人因境胜，境因人胜，地灵人杰，互为因果。千百年来，像陈登这样的豪杰在这兵家必争之地的徐州出了不知有多少个，他们的丰功伟绩、豪气壮志，使这里的山丘更为壮丽。此二句从大处着笔，虚实相应，把地理胜概与人文精神糅合在“万里”“千年”的时空结构中，营构成气势壮阔、豪气激烈的雄浑意境。这两句白描式的抒情，境界开阔，意气高扬，显示了青年诗人的豪情壮志。
颈联转写萧瑟秋景。“疏星澹月鱼龙夜”写虚静寂寞之境。夜静江平，鱼龙潜藏，有静中寓动之象。前加“疏星淡月”四字，又给诗境增加了凄迷空旷、寂寞难安的色彩。“老木清霜鸿雁秋”写深秋的清旷之境。“木”前着一“老”字，从视觉的角度写败叶凋零，枝权秃兀的景象；“霜”前着一“清”字，从感觉的角度写出白霜的寒气凛冽。“鸿雁秋”三字，又从视觉和听觉的角度，写出北雁南飞，哀声阵阵的情景。诗人选取了三种典型意象，营构成凄清高旷的意境，它既由鸿雁南来的凄厉哀鸣引发出如今黄河以北大半河山惨遭蒙古铁蹄蹂躏、广大人民水深火热的联想，又以凄清高旷的情境为末联的登高望西北铺开了广泛的视野。这一联写得激越苍凉，意象雄浑，象中之意，跃然欲出。
尾联“倚剑长歌一杯酒，浮云西北是神州”，这是全诗的落脚点，诗人主旨尽在于此。味“倚剑”二字，其主人翁当指移剌粘合，地点仍是横波亭。古诗有“浮云蔽白日，游子不顾返”之语，认为“邪臣之蔽贤，犹浮云之障日月也”。诗人以“浮云西北”象喻河朔半壁河山惨淡无光。诗人想像在这种背景下，移剌粘合及其幕僚们登上横波亭，怅望浮云低压的西北方向，杯酒慷慨，倚剑长歌的情态，对他们寄寓了同仇敌忾、收复失地的深切希望。这一联沉郁悲壮，忧国之情，溢于笔端。
金哀宗自中都（今北京市）迁都南京（今河南开封市）后，面对国势日蹙、国土日缩的残局，不思集中全力对付蒙古这一强敌，而是对南宋屡开边衅，形成腹背受敌的困境。对此当时的有识之士深以为忌。元好问在《内相文献杨公神道碑铭》曾载杨云翼力谏阻伐宋事，于此可见诗人对时局的见识。诗人的这种卓见远虑早已成熟于胸，遇到切合点，便喷涌而出了，故而收到了沉雄高浑的艺术效果。
诗题中的正题与副题的关系，继承了唐孟浩然《洞庭湖·赠张丞相》，朱庆馀《闺意·呈张水部》的体式，皆明言此而暗喻彼，言在此而意在彼。此诗即是明写横波亭，暗喻移剌粘合，以横波亭的高峻特立，来赞誉移剌粘合的功高望重，在热烈的赞誉中寄寓了诗人对移剌粘合收复故土的热切希冀。