上片两句：“万里飞霜，千林落木”，对偶互文，说万里、千林，都在飞霜中枝零叶落，总写秋天大地；“寒艳不招春妒”，收缩到红叶，红叶是寒天中唯一的浓艳之色，它与春风、春花不同时，不可能为它们所妒。三句直从秋天写到红叶，似乎专在咏物；但秋风横扫万里，其实是亡国后江山、士林备受摧残的写照。红叶可以象征遗民，“春”又是在新朝的富贵场中得意的人物的象征，寄托又极分明。这三句，已正面把红叶说尽。下面又从侧面再作生发。“枫落吴江冷”，是唐人崔信明的断句，枫叶经秋变红，故用这一典故，接以“枫冷吴江，独客又吟愁句”。“独客”表面指崔，实际是自指；“又吟愁句”，流露主观感情，由咏物到写人。物、人交错、化合，目的是求若即若离，主客融成一气，不为咏物而咏物。这里是用这种手法，但脉络转接分明：“枫”承“寒艳”；“吴江”二字又引出“正船舣、流水孤村，似花绕、斜阳归路”两句。“归路”中停船于“流水孤村”之旁，正可挨村傍树；而在“斜阳”映照中远看似春花围绕的，又非红叶莫属。这是借描写停舟之景以烘托红叶。“甚荒沟、一片凄凉，载情不去载愁去”，用唐代宫女红叶题诗故事以写眼前红叶，是熟典活用：不正面承说御沟流红，有关双方获得美满姻缘的事，而说“荒沟”内一片凄凉景象，红叶不载情去，却载愁去。不再是写宫女故事，而是自写当时情境；但典故的影子仍在，红叶的影子仍在。一经活用，就化熟为生，化板为活。“载情”句的“情”，是原故事中男女间之情，但句中“载愁”的“愁”，却是词人自己的国亡家破、飘零失路之愁。句中“载情”是宾，“载愁”是主。意谓若欲题于红叶，托荒沟流水载去的，亦只有无限深愁而已。“载情不去”，为“不载情去”的倒文。从主观方面说，是今已无“情”可供托载，表现出来却成为问沟水为何不与我载情去而载愁去，愈婉转，愈沉痛。
上片从红叶写到人，下片则从人写到红叶。“长安谁问倦旅”，以一疑问句领起写人。“羞见衰颜借酒，飘零如许”，又用自己烘托红叶。上句用郑谷《乖慵》诗“愁颜酒借红”，藏“红”字；加上“羞见”、“飘零”，以增曲折哀叹之意，便切遗民身世。“谩倚新妆，不入洛阳花谱”，又承上句“飘零”一词的双关，转到写红叶，脉络亦分明；指出秋叶虽红，终不是花，终不会为只爱春花的常人所赏，不能载人《花谱》。“洛阳”、“新妆”，皆暗指牡丹：牡丹为洛阳名花；不入《花谱》，即是不挂新朝朝籍、不得富贵的隐喻。“谩倚”是对“新妆”的唾弃，即是勉励红叶不要去羡慕、效法春花，也即是隐喻遗民们不要去羡慕、效法新贵。红叶既不能追随春花，它受秋天“回风”的吹送，也只能在酒人的樽前“起舞”最为合适，因为酒人的“醉貌”可与红叶的颜色互相映照，酒人的身世也可能就同于红叶的遭际。“尽化作、断霞千缕”，写风中落叶众多，一经“起舞”，艳红的颜色就可化为千缕断霞，红叶的这一光彩，也即是遗民们的丹心碧血，他们哀思故国的返照回光，他们忍受风霜、保持坚贞气节的光辉节概。红霞成为“断霞”，可知无法回天，也即无力复国。那么，“记阴阴、绿遍江南，夜窗听暗雨”。只好牢记江南听雨、夏木阴阴的季节，也即只好牢记南宋亡国前尚存半壁河山的偏安时期。着一“暗”字，则当时已入衰残之境，呼应“断”字，使结语呜咽缠绵。自“谩倚”以下，句句写红叶，又句句比遗民。
全词围绕红叶，扣紧题目，不避犯“正位”；但人、物关合，义兼比兴，写得不粘不脱，凄惋沉痛，感染力强。
起首两句对仗，运用“比”的手法，表现胡琴琴声的垮琮。“雨漱窗前竹”，承袭杜诗“雨泻暮檐竹”（《大云寺赞公房》）的句法，而“涧流冰上泉”，则使人联想起白居易《琵琶行》“幽咽泉流冰下难”的诗句，都具有形象的听觉效果。雨点冲刷竹叶，沙沙作响，声音比较沉实；涧泉进流冰上，铿锵有声，声音比较清脆，这同《琵琶行》“大弦嘈嘈如急雨，小弦切切如私语”的原理一样，是因琴弦粗细有别而产生的不同音色。两句比喻，已暗暗点现了胡琴的“二弦”。
“一线”句补明了这两种声音的来源。古人常把琴弦上流出的音符同风联想在一起，如“泠泠七弦上，坐听松风寒”（刘长卿《弹琴》）、“十四弦指下风生”（张可久《一枝花·湖上归》）等。“一线清风动二弦”，既表达了琴声的袅袅不绝，又使人感受到演奏者指法、弓法的娴熟与柔和，甚而使胡琴器具的本身，增添了诗意与美感。
“联”是一字句。散曲中的一字句，除具有独立存在的内容外，还能与上句或下句连读成意。这里的“联”字，承上启下，意蕴十分丰富。它可以理解为胡琴二弦上的乐声相联，添足“一线清风”的圆润；也可释为琴曲的内容互相连贯，即连续演奏小山篇、秋水篇（倘若将“小山秋水”间点上顿号），或连续演奏小山秋水篇、昭君怨（倘若将“小山”解作人名，而把“昭君怨”视作曲名）。“小山”的两句如同注释所述，具有多义性，不拘一解；遇上这种双关乃至多关的情形，读者在理解中不妨将它们的种种内涵在印象上叠加在一起。胡琴演奏的具体曲目并不重要，重要的是曲文生动地向读者展现了琴声的听觉效果。从后半几句可以知道，从胡琴的两根弦上娓娓流出了优美的琴声，最初是清旷空湛的曲调，泠泠然澄如秋水；随后转为哀怨凄切的内容，仿佛昭君出塞，在黄尘暮云中搊弹的一曲哀歌。寥寥数笔，令人神驰心往，有余韵不绝之感。
作者另有《朝天子·酸斋席上听胡琴》云：“玉鞭，翠钿，记马上昭君面。一梭银线解冰泉，碎拆骊珠串。雁舞秋烟，莺啼春院，伤心塞草边。醉仙，彩笺，写万里关山怨。”与该曲有相近之处。运用生动的艺术语言，将无形的音乐转化为可感的画面，正是这类闻乐作品的美感所在。
第一句中的杜诗韩笔，指杜甫的诗歌和韩愈的古文。“愁来”，点明诗人研读杜诗韩笔时的心绪。自安史之乱后，数十年来，藩镇割据，内战不断，导致边防空虚，民生凋敝；同时，吐蕃统治者占领河西和陇右，对京城形成威胁，河陇百姓长期受到吐蕃奴隶主的奴役压迫。这种内忧外患让诗人时刻感到忧虑。这“愁”，是诗人抱负的流露、识见的外溢和正义感的迸泻。“愁来”读杜、韩，是诗人与杜、韩思想相通的体现。
“似倩麻姑痒处搔”中诗人从杜的沉郁顿挫和韩的精深博大中汲收了睿智、胆识和力量。理性的享受，心灵的快感，使他突发奇想，恍若古代神话中的麻姑仙女用纤长的指甲轻轻搔着自己的痒处一样。此典原意是蔡经悬想麻姑爪爬背上痒处，舒适、愉快；诗人移作搔心头痒处，酣畅、痛快。这种匪夷所思的妙喻，是诗人兴到之笔，妙在信手拈来，兴味盎然。
第三句中诗人把杜、韩比作天外飞来的百鸟之王凤凰，赞叹和倾慕之情表露无遗。
最后一句感慨日趋没落的晚唐社会就像是一支断弦的弓弩，颓势已定。没有人可以用凤髓制作续弦胶，将断裂的弓弦修复。不明言“愁”，但是这种愁意在诗中却十分明显。
这首七绝宣示了诗人钻研杜、韩的心得，表达其倾慕、推重之情。诗中描叙愁中读杜、韩诗文的极度快感，而后喟叹杜、韩的杰作无人嗣响。以愁为始，以愁为结，一前一尾，一显一隐，错落有致。诗中旧典活用，有言外之意，弦外之音，又使人回味不已。诗后两句，上句设问，下句作答，一问一答，自成呼应，饶有韵味。
