卫绾为了笼络人心，他的下属出了错受皇帝的谴责后，卫绾就带下属受过。与将军们一起得到战功时，不敢居功，且归功与他人。那么卫绾如此的小心翼翼，目的就是为了保护自己，但是卫绾还是死了，卫绾是怎么死的呢?

景帝七年，废太子刘荣，严治刘荣生母栗氏之亲属。卫绾因系栗氏亲属而受株连.但因他忠厚，景帝不忍加诛，赐其免官归家。不久，刘彻为太子，卫绾又受诏为太子太傅，旋升为御史大夫，专治刑狱;五年后升为丞相。

汉武帝即位后，窦太后依然左右朝政，不允许改变治国思想。汉武帝即位不久，就下诏“举贤良方正能言直谏之士”。丞相卫绾提出在所举的贤良文学方正之中罢除法家和纵横家这两个学派的学者，虽然卫绾没有提“罢黜百家”，但依然引起窦太后的不满，几个月后，卫绾被借故免去了丞相的职务。死后，谥号哀侯。