咸亨二年(671年)，贺兰敏之被除名贬死，罪状为：与外祖母通奸;贪污武则天拨给荣国夫人造佛像追福的瑞锦;逼淫高宗和武则天为太子物色的杨氏女;为荣国夫人服丧期间不遵礼制，饮酒作乐;调戏年幼的太平公主及其随从宫人。但根据出土的贺兰敏之墓志，学者们又认为贺兰敏之真正的死因是与武则天的矛盾。

贺兰敏之之死野史记载

一说法：贺兰敏之：这个家伙本无名，他之所以能在唐史上留名，完全因为他是武则天姐姐贺兰氏的儿子，他的姨妈是皇后，母亲和姐姐同时和高宗通奸，武则天对他忍无可忍杀了他。据《唐书》，唐朝有贺兰敏之，原本是贺兰姓，后改姓武，说是武则天父亲的后代，此为冒武姓者。

贺兰敏之之则是个出了名的无法无天之纨裤公子，其父亡后，寡居的母亲还有其姐因时为皇后的则天女皇的引荐，皆得到高宗的宠幸，分别封为韩国夫人和魏国夫人，他自然也贵不可言，而且据说此子十分俊美，很得其外婆，即当今则天女皇之母扬氏的宠爱，可以说是集万千宠爱于一身，于是无法无天起来。

史书有记，太平公主幼时也常到其外婆家，所带宫女尽被其这位表兄这位贺兰敏之淫弄，连尚是幼童的她也差点遭其毒手。后来更有甚者，高宗和则天女皇为自己的长子时为太子的李弘选了一名太子妃，姿容殊丽，竟被贺兰敏之于新婚前夜给奸淫了，使太子无法完婚。

奇怪的是时为皇后的则天女皇一直护着她这个为非作歹的侄子，直到二十年前，不知为什么将这些旧帐全翻了出来，贬贺兰敏之到岭南。据记是死于途中，现在看来是路上被人杀掉了。而且是其表妹太平公主亲自带人追杀。

另一说法：太平公主幼时常到姥姥杨氏家去。当时表哥贺兰敏之因和杨氏私通，也常在姥姥家。在太平公主来往于姥姥家的日子里，她可能遭到过表哥的强奸。《旧唐书·贺兰敏之传》说：“时太平公主尚幼，往来荣国(指武则天母亲杨氏)之家，宫人侍行，又尝为(贺兰)敏之所逼。俄而奸污事发，配流雷州，行至韶州，以马缰自缢而死”。

武则天可以容忍外甥与自己的母亲私通，但不能容忍他奸污自己钟爱的小女儿，因此这件事一出，就坚决把贺兰敏之除掉了。