这首小令把咏怀古迹与登临述感结合了起来，篇幅虽短，耐人寻味。起笔“城上层楼叠巘，城下清淮古汴”二句，写泗州城的壮丽和古老。这两句从大处落墨，将泗州城一侧的壮丽风光表现无余，像是一幅气势磅礴的油画。“层楼”，暗点题目淮山楼，二句从高大、雄伟的背景上衬托出了淮山楼的壮观。一个“古”字，则给泗州城多少涂上了古老文明的色彩。细加品鉴，会发现“城上层楼叠巘”一句似乎有点不合逻辑：高楼、群山怎么都显现于城墙之上？其实，“层楼”、“ 叠巘”同城墙都不在一个平面上，作者所用的手法类似于“画境的平面化”（宗白华语），是作者用艺术家的眼睛和心灵观照外物，移远就近的结果，其妙处与“画栋朝飞南浦云”（王勃句）、“窗含西岭千秋雪”（杜甫句）等古人诗句相同。
第三、四句写遥望南天时的情态以及所见的景物。“吴云”，本义是吴地的云彩，作者当时身在汴州（在今苏北境内），根本无从见到，所以这里用来借指南方的天空，而且表示作者将要去的方向，这与柳永的词《雨霖铃》用“楚天”一词表示将要南下用意相似。作者对“吴云”“举手”行礼，则是表示友好的意思。“人与暮天俱远”，是写南方天边的远景，对作者此行的目的地来说，也含有望而不见的意思，其心驰神往就意在言外了。
最后三句是虚拟，想象后夜赶到松江时的情景。“魂断”二句，按照词律的要求用了重迭的句式，也强化了主观的感情。这里的“魂断”，与陆游诗“远游无处不消魂”（《剑门道中遇微雨》）句中的“消魂”意思极为相近，有令人神往、使人眷恋之意。“魂断”为什么写两次？末句作了回答：“后夜松江月满。”“月满”是一个具有多义性的意象：一是表示时间，即当夏历的望日（十五）或“既望”（十六）月圆的时候。二是状写景物，写一轮圆月照耀中天的美景。可以想象，如此美景再加上松江与之上下辉映，这无疑是大自然的杰作，所以作者要为之倾倒、为之消魂。三是带有某种象征意义，即意味着作者对其前景乐观的展望，在这一意义上，与初唐杨炯《夜送赵纵》诗后两句“送君还旧府，明月满前川”同一机抒。