皇帝赐他剑，卫绾说：“先帝已赐给我六柄剑了，臣不敢再接受赏赐。”皇帝说：“剑是容易被人拿去交换的，难道还独有你把那些剑保存至今么?”卫绾说：“都保留着。”皇上让取来六柄剑看，剑都在鞘中，不曾取用过。

卫绾的下属郎官有过失，他总是遮掩，也不与别人争执，有了功劳，总是谦让给他人。皇帝认为他清廉忠实，没有其他心肠，就任命他为河间王太傅。吴楚叛乱时，朝廷诏令卫绾为将，领河间兵力讨伐叛军，因此立下功劳，升任中尉。

三年后，因军功封为建陵侯。第二年，皇帝废除太子，杀了太子的外家亲属栗卿等人。皇上因为卫绾年老德高，不忍心动他，赐给告假还乡，另派郅都审捕栗氏。

之后，皇上立胶东王为太子，召回卫绾，任命为太子太傅，升任御史大夫。五年后，替代桃侯刘碐做了丞相。朝中理事，守职分而已。不过他从开始当官直至位居丞相，始终无所建树也无有过失。皇帝认为他敦厚老成适于少主，对他很尊重信任，赏赐很多。他做了三年丞相，汉景帝崩逝，汉武帝即位。建元年间，因当初汉景帝卧病之时，官府中多有无辜受冤的囚犯，身为丞相未能负责申冤，被免去相职。后卫绾去世，谥号哀侯。