家奴出身的卫青成了贵极人臣的大将军，朝中官员无不巴结奉承。这时，平阳公主寡居在家，要在列侯中选择丈夫，许多人都说大将军卫青合适。平阳公主笑着说：“他是我从前的下人，过去的随从，怎么能做我的丈夫呢?”左右说：“大将军已今非昔比了，他现在是大将军。

姐姐是皇后，三个儿子也都封了，富贵震天下，哪还有比他更配得上您的呢?”汉武帝知道后，失笑道：“当初我娶了他的姐姐，现在他又娶我的姐姐，这倒是很有意思。”于是当即允婚，时迁事移，当年的仆人做了主人的丈夫。这样一来，卫青与汉武帝亲上加亲，更受宠信。但卫青为人谦让仁和，敬重贤才，从不以势压人。

霍去病成长起来以后，汉武帝对霍去病恩宠日盛，他的声望超过了舅舅卫青，过去奔走于大将军门下的许多故旧，都转到了霍去病门下。卫青门前顿显冷落，可他不以为然，认为这也是人之常情，心甘情愿地过着恬淡平静的生活。

公元前106年，大司马大将军卫青去世，汉武帝命人在自己的茂陵东边特地为卫青修建了一座像庐山(匈奴境内的一座山)的坟墓，以象征卫青一生的赫赫战功。