《汉官仪》载：“汉兴，置大将军，位丞相上。” 《文献通考》卷五十九云：“大将军内秉国政，外则仗钺专征，其权远出丞相之右”。《军事辞海》：“汉朝时以大将军录尚书事，则兼摄台阁，位极人臣，为皇帝之下最高军政首脑”。《汉旧仪》载：“元狩六年，罢太尉，法周制置司马。时议者以为汉军有官侯、千人、司马，故加“大”为大司马，所以别异大小司马之号”， 故大司马有太尉权。

虽然卫青战功显赫，权倾朝野，但从不结党。对士卒体恤较多，与将士同甘苦，威信很高。元封五年(公元前106年)卫青病逝，汉武帝为纪念他的彪炳战功，嘉其陪葬茂陵东北，“起冢像卢山(阴山)”。谥号为“烈”。《谥法》云：有功安民曰烈。以武立功。秉德尊业曰烈。

卫青育有三子(卫伉、卫不疑、卫登)，三子生母不详，但从《史记 外戚世家》卫青得封大将军时“三子在襁褓中”并得以封侯来看，三个孩子的母亲可能不是同一人。前115年后娶汉武帝姐平阳长公主为妻。卫青薨后，长子卫伉因平阳公主的缘故得以继承长平侯爵位。