公元前139年春，卫青的姐姐卫子夫被汉武帝选入宫中，卫青也被召到建章宫当差，这成为卫青一生中的转折点。

卫子夫入宫不久，就有了身孕，引起了陈皇后的嫉妒。陈皇后就是汉武帝姑姑的女儿，当年曾让他许下“金屋藏娇”誓言的陈阿娇，与汉武帝成亲后，被立为皇后，但一直未能给汉武帝生一个儿子。她担心卫子夫一旦生下的是个男孩，那就会被立为太子，而卫子夫也就会因此青云直上，成为皇后，这对她的地位无疑是一个很大的威胁。

但是，当时卫子夫正得汉武帝的宠幸，陈皇后对她不敢加害，就找母亲大长公主诉屈。大长公主是汉武帝的姑姑，为了给女儿出气，就嫁祸于卫青。她找了一个借口，把卫青抓了起来，并准备处死。卫青当骑奴时结识的好友公孙敖听到了消息，马上召集了几名壮士，赶往抢救，把卫青救了回来。公孙敖还派人给汉武帝送信，告知此事。汉武帝得知后，大为愤怒，索性召见卫青，任命他为建章宫监、侍中。不久，汉武帝封卫子夫为夫人，提升卫青为太中大夫。

公元前129年，匈奴又一次兴兵南下，前锋直指上谷(今河北省怀来县)。汉武帝任命卫青为车骑将军，迎击匈奴，从此，卫青开始了他的戎马生涯。卫青首次出征，即直捣龙城(匈奴祭扫天地祖先的地方)，斩首700人，取得胜利。另外三路，两路失败，一路无功而还。汉武帝由此愈加器重卫青，封他为关内侯。