第一、二句以以豪情激昂之调开头，作者回忆当年的英勇战斗。征途跨越万里，穿越茫茫沙漠，携国君之命领兵踏上征讨匈奴之途。以长途奔袭、不畏艰苦、孤军深入、敢斗强敌，表现自己的勇敢无私、忠诚于国家的情怀。《汉书·李广苏建传》载，李陵率领步卒五千人出居延，北行三十日，至浚稽山，被三万匈奴军所包围，李陵在不利的地势中，击毙敌人数千。单于集合八万兵围攻，李陵军且战且退，艰苦突围，又斩匈奴三千余人，单于派其子率兵激战，李陵复杀敌数千。诗一二句的英勇自豪情调是为国立功之心的表现。“为君将”一语表白了他英勇战斗的动机，也为下文对汉武帝的刻薄寡恩从反面铺垫，遥相映衬。
三四句道出战败投降的不可挽回之遗憾。突围之路已断绝，箭矢用尽，刀刃变钝，士卒死伤殆尽，迫不得已屈服于敌人，名声扫地。这两句话蕴含着四层深意，说尽众寡悬殊、损兵折将的惨状，也抒发出腼颜事敌的奇耻大辱。司马迁《报任安书》曾这样述说李陵当时的困境，与单于连战十余日，转斗千里，矢尽道穷，救兵不至，士卒死伤如积。然而李陵一声令下，士兵个个奋起，纵然箭矢已尽，仍以空弦凶悍，冒着白刃之危，无不向北，积极迎战，志在必死与敌。又认为，李陵是在迫不得已的情况下作出权衡，寻找适当时机，再度斩杀敌人，重返汉军阵营。这两句诗从严以律己的高度，述说艰难羞辱，感情更深。
最后两句向苏武和汉使者说明不能归汉之因，弦外之音斥责汉武帝杀戮李氏家属的绝情与残忍。《汉书·李广苏建传》载，汉武帝误听说李陵为匈奴练兵，于是族灭李陵一家，“母弟妻子皆伏诛”。李陵又畏惧归汉后再受戮辱，于是在匈奴二十多年而死，没有回归故土。这两句诗包含着这样复杂的情感：抱怨、隐痛、惋惜。
李陵故事流传极广，历久不衰。这是因为历史上存在着士大夫阶层忠诚而不得其所的怨愤，也存在着人民对封建帝王专断独裁、行刑诬枉的不满。可以从李陵事件和李陵歌中看到自己的身影，体味到类似的感情。这首歌言简意赅，语短情深，真实地抒发了李陵在彼时彼地万感交集的心声。
关于此诗主旨，《毛诗序》说是黎侯为狄所逐，流亡于卫，其臣作此劝他归国。刘向《列女传·贞顺篇》说是卫侯之女嫁黎国庄公，却不为其所纳，有人劝以归，她则“终执贞一，不违妇道，以俟君命”，并赋此诗以明志。二说均牵强附会，因为无论是实指黎侯或黎庄妇人，都缺乏史实佐证。余冠英认为“这是苦于劳役的人所发的怨声”（《诗经选》），乃最切诗旨。
诗凡二章，都以“式微，式微，胡不归”起调：天黑了，天黑了，为什么还不回家？诗人紧接着便交待了原因：“微君之故，胡为乎中露”；“微君之躬，胡为乎泥中”。意思是说，为了君主的事情，为了养活他们的贵体，才不得不终年累月、昼夜不辍地在露水和泥浆中奔波劳作。短短二章，寥寥几句，受奴役者的非人处境以及他们对统治者的满腔愤懑，给读者留下极其深刻的印象。
在艺术上，这首诗有两个特点。一是以设问强化语言效果。从全诗看，“式微，式微，胡不归”，并不是有疑而问，而是胸中早有定见的故意设问。诗人遭受统治者的压迫，夜以继日地在野外干活，有家不能回，苦不堪言，自然要倾吐心中的牢骚不平，但如果是正言直述，则易于穷尽，采用这种虽无疑而故作有疑的设问形式，使诗篇显得宛转而有情致，同时也引人注意，启人以思，所谓不言怨而怨自深矣。二是以韵脚烘托情感气氛。诗共二章十句，不仅句句用韵，而且每章换韵，故而全诗词气紧凑，节奏短促，情调急迫，充分表达出了服劳役者的苦痛心情以及他们日益增强的背弃暴政的决心。从此诗所用韵脚分析，前章用微韵、鱼韵，后章为微韵、侵韵，这些韵部都较适合表达哀怨沉痛的情绪。诗人的随情用韵，使诗情藉着韵脚所体现的感情基调获得了充分的强调。所以方玉润评此诗云：“语浅意深，中藏无限义理，未许粗心人卤莽读过。”（《诗经原始》）
由于《毛诗》将此诗解说成劝归，历代学《诗》者又都以毛说为主，所以“式微”一词竟逐渐衍为中国古典诗歌中的“归隐”意象，如唐王维“即此羡闲逸，怅然吟式微”（《渭川田家》）；孟浩然“因君故乡去，遥寄式微吟”（《都下送辛大夫之鄂》》；贯休“东风来兮歌式微，深云道人召来归”（《别杜将军》）等等，由此也可见出此诗对后世的影响。
