卫青的母亲在平阳公主的夫家做女仆，因丈夫姓卫，她就被称为卫媪。注：颜师古在《汉书》的注解中写明“媪者，后年老之号，非当时所呼也。卫者，举其夫家姓也。”以汉高祖刘邦之母被称为“刘媪”为例，卫青卫子夫的生母“卫媪”是以夫姓尊称，即卫老夫人之意。卫媪的儿女们并非其父不详，“冒姓”为卫的只有卫青、卫步、卫广三人(《史记卫将军骠骑列传》：后子夫男弟步、广皆冒卫氏，也有认为卫步广为一人)。

卫媪与卫姓男子生有一男三女：长子卫长君，长女卫君孺(《汉书》作卫君孺，《史记》作卫孺)、次女卫少儿、三女卫子夫。丈夫死后，仍在平阳侯家中帮佣，与同在平阳侯家中做事的县吏郑季私通，生了卫青。卫家的生活艰苦，于是卫青被送到了亲生父亲郑季的家里。但郑季却让这个年幼的私生子放羊，郑家的几个儿子也不把卫青看成手足兄弟，随意苛责(青为侯家人，少时归其父，其父使牧羊。先母之子皆奴畜之，不以为兄弟数。《史记卫将军骠骑列传》)。

卫青稍大一点后，不愿再受郑家的奴役，回到母亲身边，并做了平阳公主的骑奴。有一次，卫青跟随别人来到甘泉宫，一位囚徒看到他的相貌后说：“这是贵人的面相啊，官至封侯。”卫青笑道：“我身为人奴之子，只求免遭笞骂，已是万幸，哪里谈得上立功封侯呢?”

(青尝从入至甘泉居室，有一钳徒相青曰：“贵人也，官至封侯。”青笑曰：“人奴之生，得毋笞骂即足矣，安得封侯事乎!”《史记卫将军骠骑列传》)