“海潮南去过浔阳，牛渚由来险马当。”长江在安徽地界变为南北走向，所以“海潮”不是西去，而是南去。浔阳，即今江西省九江市。白居易的《琵琶行》所写的“浔阳江头夜送客，枫叶荻花秋瑟瑟”，就是这里。牛渚，即采石，历来以地势险峻而闻名，可以用一人当关，万夫莫开的险要来形容，其险峻远远胜过马当这个地方。“横江欲渡风波恶，一水牵愁万里长。”这两句看似写渡江之险，实则写北上报国之路难行，“风波恶”，是指世事险恶，人心难测，所以才会有一个“愁”字了得。当时诗人避祸江南，也可以说报国无门，这里还没有以酒浇愁，这愁中还存在某种幻想，不似《月下独酌》其四所写的那样“穷愁千万端，美酒三百杯。愁多酒虽少，酒倾愁不来。”二十个字中用了三个“愁”字，而且愁到最后，连愁都不来了。
严评本《李杜全集》载明人批此诗：“‘险马当’三字尚觉生硬。后二句语不甚深 ，以无意出之却妙。”
东山上建有白云堂和明月堂，所以诗里那蔷薇、那白云、那明月，都不是信笔写出的，而是切合东山之景，语带双关。李白的诗就有这样的好处，即使在下笔时要受东山这样一个特定地点的限制，要写出东山的特点和风物，但成诗以后，仍显得极其自然和随意，毫无拘束之态。
李白向往东山，是由于仰慕谢安。这位在淝水之战中吟啸自若，似乎漫不经心地就击败苻坚百万之众于八公山下的传奇式人物，在出仕前就是长期隐居东山。当匡扶晋室，建立殊勋，受到昏君和佞臣算计时，又曾一再辞退，打算归老东山。所以，在李白看来，东山之隐，标志着一种品格。它既表示对于权势禄位无所眷恋，但又不妨在社稷苍生需要的时候，出而为世所用。李白向往的东山之隐，和谢安式的从政是相结合的。在陶醉自然、吟咏啸歌之际，并不忘情于政治；而当身居朝廷的时候，又长怀东山之念，保持澹泊的襟怀。李白一生以谢安自期、自比。“北阙青云不可期，东山白首还归去。”（《忆旧游赠谯郡元参军》）“谢公终一起，相与济苍生。”（《送裴十八图南归嵩山》）“但用东山谢安石，为君谈笑静胡沙。”（《永王东巡歌》），都是在不同的处境和心情下，从不同的角度想到谢安和东山。李白写这首诗的时候，大约正在长安。唐玄宗亲自下诏召他进京，看来是够礼贤下士的了，但实际上并没有给他像谢安那样大展雄才的机会。相反，由于诗人的正直和傲慢，却招惹了权贵的忌恨。李阳冰在《草堂集序》中说：“丑正同列，害能成谤，帝用疏之。公（李白）乃浪迹纵酒以自昏秽，咏歌之际，屡称东山。”这就是李白这首诗的背景。从“不向东山久，蔷薇几度花”可以看出，诗人在默算着离开“东山”（实际上指进京以前的隐居之地）的时日。流光如驶，岁月老人。他有像谢安与东山那样的离别，却未成就像谢安那样的功业。因此，在诗人的沉吟中，已经包含着光阴虚度、壮怀莫展的感慨了。当初，诗人告辞东山时，同样也舍不得丢开那种环境和生活，只不过为了实现匡国济世之志才暂时应诏而去。但如今在帝城久久淹留却毫无所成，自然对不起东山的风物。所以“白云还自散，明月落谁家”两句中所包含的感情，一方面是向往，一方面又有一种内疚，觉得未免辜负了那儿的白云明月。
“我今携谢妓，长啸绝人群。”形象地说明了，饮酒、狎妓、观舞并且亲自歌舞，是李白的生活方式之一。“欲报东山客，开关扫白云。”表现了对谢安的隐居生活的向往。
这两首诗应该看作是李白的“归去来辞”。他向往着东山，又觉得有负于东山。他是要归去了，但他的归去却又不同于陶渊明。陶渊明是决心做隐士，是去而不返的。李白却没有这种“决心”。“东山”是和谢安这样一位政治家的名字结合在一起的。向往东山，既有隐的一面，又有打算待时而起的一面。“东山高卧时起来，欲济苍生未应晚。”（《梁园吟》）他的东山之隐，原来还保留着这样一种情愫。诗中李白隐以谢安这样一个人物自比，又用白云、明月来衬托他自己的形象，那东山的白云和明月显得十分澹泊、明洁；而李白的情怀，便和这一切融合在一起了。
