当时，一个名叫明崇俨的道士深受帝后信赖，常伴随武后左右。一次武后请明崇俨为皇子看相，明崇俨随即作出“英王(武后三子)状类太宗、相王(武后幼子)最贵，而太子(李贤)不堪大任”的论断，事情传到太子耳中，令李贤更加忧惧。

公元680年，明崇俨为盗所杀，武后怀疑是太子所为，随即派人搜查太子府第，查出皂甲三百余副，太子遂因谋逆罪被捕囚禁。唐高宗向来宠爱这个儿子，犹豫再三希望赦免太子，但被武后以“为人子心怀谋逆，天地不容，大义灭亲，何可赦也”的论断驳斥。

高宗无奈下令三司会审太子谋逆案，太子最终未能洗脱罪名，被废为庶人，在长安拘禁一年多后被流放到偏僻的巴州(今四川巴中)，走前妻子、儿女、仆从衣不蔽体，十分悲凉。公元684年，高宗驾崩，中宗继位不久即被武后废黜改立幼子睿宗，睿宗柔弱形同傀儡，武后自此完全把持皇唐朝政。

唐睿宗即位初，武后因担忧废太子在外有所图谋，便以校检李贤宅第的名义派遣丘神勣赴巴州，丘神勣到达巴州后即逼迫李贤自杀。依据《资治通鉴》的说法，李贤之死很可能直接出于武后的懿旨。李贤死后，武后恢复其雍王王爵，并在流放地下葬。

公元705年，武后崩，中宗继位。唐中宗念及兄弟之情，追授李贤“司徒”官爵，并将灵柩迁回长安，以亲王礼陪葬乾陵。公元712年，李贤遗孀房氏病故，唐睿宗下旨追加李贤“皇太子”身份，谥号“章怀”，房氏追加“太子妃”，两人合葬于今“章怀太子墓”。