刘峻生不及一月，曾任宋始兴内使的父亲刘病逝，母亲许氏不得不带着他及哥哥法凤回到故乡。宋明帝泰始五年，刘峻8岁，魏攻占青州，刘峻母子为乱兵所掠，作为奴隶卖到中山。富人刘宝悯惜刘峻，以束帛赎出，并教他读书。此时刘峻的叔父刘怀珍仍在宋为官，并以军功累迁至黄门郎领虎贲中郎将。魏实行民族隔离政策，对南朝有戚属者尤甚，因此再徙刘峻母子到更为僻远的代地。
刘峻母子衣食难继，不得不到寺庙为僧为尼，还俗只是后来的事情。刘峻却非常好学，在“居贫不自立”的情况下，燃麻杆为灯；夜读昏困，就用麻杆燎发须，“及觉复读”。齐武帝永明四年，刘峻母子不堪忍受民族歧视，由桑乾回到建康。
自东晋偏安江隅以来，建康一直为中国文化的中心。至建康，刘峻自感少时的读书不博，加之生性鲁钝，不胜愧叹：“黉中济济皆升堂，亦有愚者解衣裳。”此时刘峻已届25岁，“于是博及群书，文藻秀出”（《南史》本传）。
梁初建，刘峻曾被召“入西省，与学士贺琮校点秘阁”。然而刘峻率性而动，于学于识方面均不让梁武帝萧衍。一次“会策锦被事，咸言已罄，帝试呼峻”，刘峻“忽请纸笔，请疏十余事”。萧衍“不觉失色。自是恶之，不复引见”。萧衍对刘峻的忌恨一直延续了相当长的时间，当刘峻编纂的《类苑》成，萧衍则另外组织一班文士编《华林遍略》“以高之，竟不见用”（《南史》本传）。这是造成刘峻由中年及老年坎坷、淹蹇的根本原因。
刘峻并不屈服于命运，可是刘峻的命运却是这样的舛讹，甚至几次到了“疏薄遭弃”的境地，不能不使他良多慨叹，由己及人、由今及古思索有关命运的课题。
偶然他听到梁武帝萧衍对管辂“有奇才而位不达”的议论，于是接过话题，洋洋洒洒写成了《辨命论》一文。刘峻认为前人的辨命存在着许多不足，如王充只是论其末却“蔽其原”，司马迁辨惑而终为惑所蔽，李康“论其本而不畅其源”，郭象能“语其流而未详其本”。刘峻本着“仕而不易，则谓之命。命也者，自天之命也”的角度，逐一予以辨蔽。
《辨命论》虽然属于哲学方面的论文，然而却是用华丽的骈俪文体写成的。特别是刘峻写作《辨命论》“盖以自喻”（刘瑶：《梁典》），浇铸着他的不平之气，从而使之音节精壮，辞彩飞扬，辨锋犀厉，情致淋漓，较之李康、郭象等前人之作显现出另一番慷慨激越的特色。而刘峻这一论文面对现实，面向人生，与南朝文风大相径庭，故而有“足杜浮竞”（李善：《文选注》）之效。诚然，《辨命论》从总体上言仍然囿于儒家“天命不可知”的思想体系，然而较之前人有所开拓，有所恢宏，故张溥击节称赏：“辨命六蔽，善言天命。”（《刘户曹集题辞》）至于刘峻于其中首先倡言：“天下善人少，恶人多；暗主众，明主寡”，吐出了封建社会诸多失意文人内心的愤懑，故而千百年来有着许多的知音。
《辨命论》成，中山刘沼不尽同意刘峻的观点，曾往来致书诘难，刘峻并一一作答。过了很久很久，刘沼没有音信、而刘峻值儿子病死内心戚戚惶惶不能前去相访。有人来拿着刘沼的复信给刘峻看，并言及这是刘沼于病中写成只是因为死未及发出。刘峻面对刘沼遗文，如睹故人，不胜悲悼，写作《追答刘沼书》以相吊。该书不及200字，只是借典实来说明刘峻的相哀相念之情。
如结末说：“冀东平之树，望咸阳而西靡；盖山之泉，闻弦歌而赴节。但悬剑空垅，有恨如何！”书中所用之典，意谓人死之后既有所感应，便想象着刘沼在九泉之下等待着刘峻的回答。于是刘峻就面对着苍冥，追思刘沼昔日的殷殷候答之情，仍然作了答书。刘峻说，当他再看到刘沼的复信，就如同秋菊春兰一样，芬芳之香充溢，英华之才流淌。只此一语就回答了刘沼。这种答死者书，“甚是创格”（许连：《六朝文絜》）。可是刘峻那里不知道人死魂灭，结末一语用季子悬剑徐君墓树的典实，使之属辞凄惋缠绵，“俯仰徘徊，无限悲切。”这封答书，在创格之中表达了对刚逝去朋友的哀悼，表现了与朋友讨论问题的真诚态度，最后深表失去挚友的遗恨，意味至为深永。
刘峻不独重友谊，而且还特别重视为人交友之道。梁武帝天监七年任昉死于新安任所，任昉吏风清正，不喜营物。任昉的儿子“东里、西华、南容、北叟并无求业，坠其家声。
兄弟流落，不能自振，平生旧交莫有收恤。西华冬月著葛帔练裙”；道逢刘峻，刘峻“泫然矜之，谓曰：‘我当为卿作计’乃著《广绝交论》以讥其旧交”（《南史》本传）。
《广绝交论》取主客问答的形式，循着东汉朱穆的《绝交论》的思路写成。不过《广绝交论》更突出了对“利交”的揭露及“利交”种种表现形式，其一为势交，其二为贿交，其三为谈交，其四为穷交，其五为量交。这五种“利交”的形式，“义同贾鬻”，并且滋生出三衅：“败德殄义，禽兽相若，一衅也；难固易携，仇讼所聚，二衅也；名陷饕餮，贞介所羞，三衅也。
古人知三衅之为梗，惧五交之速尤，故王丹威子以槚楚，朱穆昌言而示绝”，都是有着远大的眼光的。至于现状较之朱穆写成《绝交论》时尤甚。
刘峻通过任昉生前与死后境遇的完全不同，不胜感慨地说：“呜呼！世路险巇，一至于此。太行孟门，岂云崭绝。是以耿介之士疾其若斯，裂裳裹足，弃之长鹜。独立高山之顶，欢与麋鹿同群，皦皦然绝其雰浊，诚耻之也，诚畏之也。”不止应象朱穆所示的那样“绝交”，而且还要广绝交，从而扩大了朱穆的观点。由于该论现实针对性强，似到溉“见其论，抵几于地，终身病之”（刘璠：《梁典》）；而且还似烛照诸种丑恶行为的镜子悬挂中天，成为不胫而走的名篇。至千百年后，尚有“郈成、季札，遗风在焉”（张溥：《刘户曹集题辞》）的盛誉。
由于萧衍的忌恨，刘峻虽为萧秀征为荆州户曹参军，最终却选择了金华山为栖地的归隐之路。他一方面设帐授徒，一方面筛选收集自己的文章，并写成一篇《自序》总结他的一生。其中发出“魂魄一去，将同秋草”，将为“世不吾知”的悲叹！不过历史是有选择的。
在他死后，他的学生私谥为“玄靖先生”，作品亦不胫而走，影响深远。