“屋下”两句，点明“望湖楼”是座傍山依水的建筑物。楼宇挑出水面，所以“屋下半”有“流水”淙淙；隔着楼顶望去，可以看到青山蜿蜓。“当心”两句，“当心”应作“赏心”。此言是楼面湖而筑，门窗开处，千顷平静似镜的湖水皆入眼中，水光掩映之下，使楼内满室生寒，真是“水光潋滟晴方好”，使人见后赏心悦目。“云起”三句，写远眺。此言如果湖对面的南高峰上罩上了黑云，那末这儿一时半刻还不致会有雨；又如果是楼后面的北高峰上云雾收敛的话，那末这里也就会马上会转晴了。据此，望湖楼应在北高峰前的西湖北面。又看那云来云去，以天作纸，以云作画，像是有一个大手笔在用一支“健笔”着意地挥洒。“俯瞰”两句，形容楼之高。此言从望湖楼上可以低首远望远处古老的城墙，那窗外的栏干，挡不住词人的视线。
“绣鞍马”五句，写游湖之人中午都来楼中休息。此言那些骑在铺着绣鞍的俊马上的游客们，从绿水青山中尽兴返回，到“望湖楼”时刚好日至正午。在等候午餐之间，有人信手翻阅起随身所带的书本。“缃编”，即缃帙，系浅黄色的书套，这里借代为书本。欧阳修《进唐书表》有：“久披缃帙，粗定铅黄”可证之。“残照”三句，写黄昏景。言游客们在楼中酒醉饭饱之后，不知不觉中已临近黄昏。他们还可以从楼上观赏到落日余晖。那时候湖面上已经没有了游船。当蛾眉月升起之时，它似乎是挂在楼门帘边的银钩一般，更显得湖山如画般清新可爱。从“新月”句中可知，“望湖楼” 确在北高峰前的西湖边上，因此游客可从楼中如平湖秋月那样的欣赏月色了。再是“新月”，也点明时在月初。词人从翠绿色的壶形窗中望了出去，岸边游人似乎是行走在镶嵌的画框里一样。“天际”两句。言当远处隐隐约约地响起牧童晚归时的牧笛声时，很快这花花世界又将融入进漫漫长夜之中。
谢枋得此诗，抓住了杜鹃鸟啼声的这些特点来抒写自己的感情。其最成功之处在于用望帝的传说来抒发自己彻骨的思归之情，并把这种情绪描绘得缠绵往复，回肠荡气。
作者在二十八字的短短篇幅里，高度地集中题材。全诗紧紧围着一个人（作者自己）、一种物（杜鹃）、一件事（归）展开。仅从字面上来看，四句中有两句出现了作者自己，两句出现了杜鹃鸟，三句出现了“归”字。进一步研读，还发现其实四句都没有离开这人、物、事三者。这种反复吟唱的写法，类似民歌中的复沓，仿佛仍有“杜鹃催人归，我归，我归，我归……”的旋律不断萦绕耳际，律感强烈，引起共鸣。
全诗的结构也十分巧妙。诗的开篇先用杜鹃催归起兴，并连用“日日”二字，足见此鸟之殷勤多情，好像在说物有情而人无意。但接下来次句却说，我的归心如此急切，可惜无人知道，当然，杜鹃也是不理解我的。这样一来便使起兴鹃鸣反倒成了铺垫，从而把作者思归的情绪推向了高潮。三、四句在前两句的基础上进一步深化，使人与杜鹃之间形成直接联系，用人向物发问的方式表达作者对归期的盼望和对可能出现的永无归期的忧虑。
通观全诗，这种由物（劝归）到人（思归），再由人（问归）到物（预示归期），最后仍然归结到人（归期何时）的结构方式，在人、物、事三者之间构成循环不断的关系，极符合作者所要表达的缠绵不绝、难解难断的思想感情。