卫绾说：“先皇帝曾经赐给我总共六把剑，我不敢再接受陛下的赏赐。”景帝说：“剑是人们所喜爱之物，往往用来送人或交换他物，难道你能保存到现在吗?”卫绾说：“全都还在。”皇帝派人去取那六把剑，宝剑完好地在剑套中，不曾使用过。

中郎将属下的郎官犯了错误，卫绾常常代他们受过，不和其他的人去争辩;有了功劳，常常谦让给他人。皇帝认为他品行方正，对自己忠诚没有杂念，就任命他做了河间王刘德的太傅。吴楚七国之乱时，皇帝任命卫绾做了将军，率领河间王的军队攻打吴楚叛军有功，任命他做了中尉。过了三年，因为战功，在景帝前元六年(前151)受封为建陵侯。

第二年，景帝废黜栗太子刘荣，杀了太子的舅父等人。景帝认为卫绾是忠厚的人，不忍心让他治理这件大案，就赐他休假回家。而让郅都逮捕审理栗氏族人。处理完这件案子，景帝任命胶东王刘彻做了太子，征召卫绾做太子太傅

。又过较长时候，升迁为御史大夫。过了五年，代替桃侯刘舍做了丞相，在朝廷上只奏报职份内的事情。然而从他最初做官起直到他位列丞相，终究没有什么可称道或指责之处。皇帝认为他敦厚，可以辅佐少主，对他很尊重宠爱，赏赐的东西很多。

卫绾做丞相三年，景帝死，武帝即位。建元年间，因景帝卧病时，各官署的许多囚犯多是无辜受冤屈的人，他身为丞相，未能尽职尽责，被免去丞相官职。后来卫绾去世，儿子卫信承袭了建陵侯的爵位。后来因为上酎金不合规定而失去爵位。