此诗前两句首先描绘出一位贫妇的画像：她鬓云散乱，头上别着自制的荆条发钗，身上穿着当年出嫁时所穿的布裙，足见其贫困寒俭之甚（“世所稀”）。这儿不仅是人物外貌的勾勒，字里行间还可看出一部夫妇离散的辛酸史。《列女传》载“梁鸿、孟光常荆钗布裙”。这里用“荆钗”、“布裙”及“嫁时衣”等字面，似暗示这一对贫贱夫妇一度是何等恩爱，然而社会的动乱把他们无情拆散了。“布裙犹是嫁时衣”，既进一步见女子之贫，又表现出她对丈夫的思念。古代征戍服役有所谓“及瓜而代”，即有服役期限，到了期限就要轮番回家。从“正是归时”四字透露，其丈夫大概是“吞声行负戈”的征人吧，这女子是否也曾有过“罗襦不复施，对君洗红妆”（杜甫《新婚别》）的誓言，那是要读者自去玩味的。
于是，三句紧承前二句来。“胡麻好种无人种”，可以理解为赋（直赋其事）：动乱对农业造成破坏，男劳动力被迫离开土地，“纵有健妇把锄犁，禾生陇亩无东西”，田园荒芜。如联系末句，此句也可理解为兴：盖农时最不可误，错过则追悔无及；青春时光亦如之，一旦老大，即使征人生还也会“纵使相逢应不识”呢。以“胡麻好种无人种”兴起“正是归时底不归？”实暗含“感此伤妾心，坐愁红颜老”意，与题面“怀良人”正合。
这还不能尽此句之妙，若按明人顾元庆的会心，则此句意味更深长。他说：“南方谚语有‘长老（即僧侣）种芝麻，未见得。’余不解其意，偶阅唐诗，始悟斯言，其来远矣。胡麻即今芝麻也，种时必夫妇两手同种，其麻倍收。长老，言僧也，必无可得之理。故云。”（《夷白斋诗话》）原来芝麻结籽的多少，与种时是否夫妇合作大有关系。诗人运用流行的民间传说来写“怀良人”之情，十分切贴而巧妙。“怀良人”理由正多，只托为芝麻不好种，便收到言在此而意在彼、言有尽而意无穷的效果。所以，此诗末二句兼有赋兴和传说的运用，含义丰富，诗味咀之愈出，很好表达了女子“怀良人”的真纯情意。用“胡麻”入诗，这来自劳动生活的新鲜活跳的形象和语言，也使全诗生色，显得别致。
绝句“宛转变化，工夫全在第三句，若此转变得好，则第四句如顺流之舟矣”（杨载《诗法家数》）。此诗末句由三句引出，正是水到渠成。“正是归时底不归？”语含怨望，然而良人之不归乃出于被迫，可怨天而不可尤人。以“怀”为主，也是此诗与许多怨妇诗所不同的地方。
首句“清明”后缀以“时节”二字，即将寒食包括在内。在此时节“出郊原”春游，是宋时风俗，如邵雍《春游》诗即有句云：“人间佳节唯寒食。”
第二句“山城”点明诗人出游的地点。“寂寂”，用叠词渲染周围的环境气氛。柳则是带季节气候特征的植物，不但唐人韩诩有“寒食东风御柳斜”名句传世，而且宋人每逢寒食，即以杨柳等物饰于轿顶之上，四垂遮蔽。每户且以“面造枣（饣固）飞燕，柳条串之，插于门根”（《东京梦华录》卷七）。因此，“柳映门”是寒食特有之景。
颔联二句二景：一远一近，一朦胧一清晰，如画家构图，色调和谐，笔触错落有致。同是写寒食清明，柳永《木兰花慢》词：“拆桐花烂漫，乍疏映，洗清明．正艳杏烧林，湘桃绣野，芳景如屏。”而在杨徽之笔下，则是“水隔淡烟修竹寺，路经疏映落花村”，如此色调淡雅、风物凄清之景，与前“寂寂山城”相呼应，与都城寒食时繁华热闹景象形成鲜明的对照，曲折委婉地表达了诗人被贬后的愁思。
颈联即景抒情。“天寒”，点出寒食节乍暖还寒的气侯特点。“酒薄”，暗示山城的荒僻。自唐至宋，均有寒食扫墓之俗。此时此景，登高见之，倍生思家之念。诗中“易断魂”，由“地迥”和“回首故山千里外”而来；而“难成醉”也与此有着密不可分的关系。这两句与范仲淹《御街行》词“愁肠已断无由醉。酒未到、先成泪”，有异曲同工之妙。据说宋太宗很欣赏杨徽之的诗，特地挑出十联写于屏风，其中就有这一联。
尾联之妙，在以问句作结。诗人本有一腔“别离心绪”，喷涌欲出，这里以“向谁言”出之，于“露筋骨”之中，仍为唱叹之音，与全诗的基调和谐一致。
作者于西昆体盛行之时，能不雕金镂玉，不堆砌典故。额联平仄稍作变化，颈联虽对得很工，然而略有“流水对”之意，仍有自然流转之美。全诗无论是内容，还是艺术手法，都显得自然而清新。
