这首诗层次分明。首联写游佛祠的时间，这是春天一个黄昏。颔联写佛祠的外观，在断桥边的树林下，有短篱围着。颈联写进祠门后所见情景。尾联点出诗序所叙之意。这首诗虚实隐显，巧于安排，读来又浑然一气，毫不见雕琢之迹。
全诗可分“寻宿”和“投宿”两部分。前四句写寻宿。诗人从麦田着笔，一则是借大麦抽芒点明春末的物候，二则也暗示了自己在外求宿之由。当时诗人正“之官历阳石迹戍，日从事田野间”，以阅田为务，并非随兴所至的游览观光，这就和下文所说的“行役”暗相呼应，第二句写风势之大，此处的“晚”不是指日暮时分，当作晚春、暮春解，否则，与下文写天日的“待晚”，就不能契合了。贺铸此诗，正作于暮春三月间。欧阳修《蝶恋花》词“雨横风狂三月暮”，亦以“狂”字形容三月时的风势。诗人既已阅田事毕，风尘仆仆，故欲求一块清静地方栖息，由此引出下面的“寻寺”之行。
诗人写“寻寺”的过程仅用了两个画面。前一个画面是“微径断桥”，以蜿蜒曲折的羊肠小道和断折不通的桥梁，把人们引进一个僻静冷落、略带荒凉感的幽深境界。环境之荒芜深僻，羁旅之寂寞疲困，尽在不语之中。正当道路不明、方向莫辨之际，前面却现出一个“短篱高树”的处所来：那池塘对面，竹篱丛中的院落，便是佛祠的所在地了。两个画面不但表现了空间的移动，而且连行人在征途中的心理变化也依稀可辨。前一句用一“微”一“断”，突出了主人公置身于人烟稀少的陌生地域中，那种惘然若失空无所依的意绪；后一句用一“短”一“高”，暗示了错落有致的人工布置和安排，给人以柳暗花明的感觉。“短篱”非粉垣高墙，仍带山野风味；而“隔横塘”则又可见泉石萦回之势。
诗的后四句写“投宿”。诗人按入寺过程写来，层次井然：先写进入庭院，见满地堆积着飘落的杨花；次写走进祠殿：看寺僧点燃夜香；末写转至殿后的长廊，意外地发现了故人的题字。落花未扫，寺僧燃香，处处透出寺院所特有的清幽意趣。值得注意的是，在写投宿的过程中，还有人物的活动，除了行人之外，就是迎客的寺僧。诗中说“开门”，也就是是推门而入，其间已含宾主间一呼一应的意思在内。于是紧接着的“未扫”、“先烧”，就不止是写来客的所见，而实在是暗写主人殷勤待客的情意。寺僧原不料会有不速之客来到这幽僻的所在，因未及洒扫庭院而深致歉意；为了便于来客早些安息，故天色未晚就焚香净室。主人待客的殷殷情意，于此跃然纸上。在寂寞与困顿之中，诗人意外地得到温暖，但更意外的，是诗人还在这里发现了老朋友的题字，更令他感到欣慰。诗人的感情于此达到高潮。《庄子·徐无鬼》说：“夫逃虚空者，……闻人足音趁然而喜矣。又况昆弟亲戚之謦欬其侧者乎？”见到故人题字，如亲身与其会面。于是旅途的风尘、仕途的失意，此刻都消融了。
