文杏馆是辋川园林中的重要建筑，馆在山之最高处。
诗的首二句写题面。“文杏裁为梁”，从司马相如《长门赋》“饰文杏以为梁”化来。文杏是极其名贵的杏树品种，据《西京杂记》卷一记载，当初修建上林苑时，群臣和外地纷纷贡献名果异卉，其中杏树珍品两种，即文杏和蓬莱杏。以后文杏在关中一带逐渐普及。文杏馆的得名，大抵因馆前植有文杏;而诗中却说“文杏裁为梁”，这就如同《楚辞·九歌》中的“桂棹兮兰枻”，意在夸饰馆的高雅。“香茅结为宇”，意谓用香茅结屋檐。香茅是一种有香味的茅草，又名茅菁或琼茅，生长于湖南和江淮之间。文杏馆的茅草也大有讲究，有香味，自非普通的低矮茅舍可比。立馆而不求华丽，茅庐而以馆名，这就使“文杏馆既区别于权贵势要们的亭榭馆阁，也区别于老杜浣花溪畔的经不起八月秋风的茅屋，它是高人王右丞啸傲流连之所，体现了主人的性格特征。
三、四句写其地之高。“不知栋里云，去作人间雨”，栋里有云，这是山居习见景象。而云自栋间出而降雨，人犹不知，则所居在山之绝顶可知。登过华山、泰山这样高山的人都可能有身出云表的体验：头顶是红日，脚下是云海，仿佛置身另一个世界，此时尘虑顿消，心境格外舒坦。当诗人置身文杏馆，注视着奄冉四泻的流云，并遥想它“去作人间雨”的情景，他的心境将不再“惆怅情何极”(《华子冈》)，而很可能变得平静而闲适。称山下为“人间”，诗人俨然以世外人自命。这样刻画文杏馆处境之高，迥出常情之外，动人遐想。
此诗前两句“燕支山西酒泉道，北风吹沙卷白草”，极言塞外荒凉、酷虐的环境，极富塞外色彩，“燕支”“酒泉”，以西域的地名入诗，一望而知是北地边陲一带；“北风”“沙”“白草”，以特殊地域的自然景物入诗，给全诗罩上了一层沙海气息；“吹”“卷”，以独有的狂虐气势入诗，更给全诗贯注了一股粗犷的沙漠的血液。后两句“长安遥在日光边，忆君不见令人老”，直抒胸臆，表达诗人深切的思念之情。以“长安”与“日光”相比，暗用了晋明帝的典故。据《初学记》卷一引刘劭《幼童传》记载：明皇帝讳绍，字道畿，元皇帝长子也。幼而聪哲，为元帝所宠异。年数岁，尝坐置膝前，属长安使来，因问帝曰：“汝谓日与长安孰远？”对曰：“长安近。不闻人从日边来，只闻人从长安来，居然可知也。”元帝异之。明日，宴群僚，又问之。对曰：“日近。”元帝失色，问何以异昨日之言。”对曰：“举头不见长安，只见日，是以知近。”帝大悦。结句还可从《古诗十九首·行行重行行》“思君令人老，岁月忽已晚”中找到影子。如此用典无碍表达，更增诗句的人文气息。
全诗表达的感情虽极为普通，但表达方式却独具特色。以自己所处环境开篇，有一种向友人描述自己生活状况的意思，同时又意指自己在这苍凉、萧索的环境中，十分孤独，因而更加怀念友人，怀念那共处的美好时光；随即的直抒胸臆即是印证了这一意境。抒情中又有对典故的运用，且不着痕迹，浑然天成，更见诗人笔力之深厚。