霍去病死后，霍光任奉车都尉、光禄大夫，武帝出行他就照管车马，回宫就侍奉在左右，出入宫门二十多年，小心谨慎，未曾有什么过错，很受到武帝亲近和信任。

征和二年，卫太子刘据因受到江充的诬陷而自杀，而燕王刘旦、广陵王刘胥又都有很多过失。这时武帝已年老，他的宠妃钩弋宫赵婕妤有个男孩，武帝心里想让他继承皇位，命大臣辅助他。

仔细观察众大臣，只有霍光能负此重任，可以把国家大事托付给他。武帝就叫黄门画工画了一幅周公抱着成王接受诸侯朝见的图画赐给霍光。后元二年春天，武帝出游五柞宫，得了重病，霍光流泪抽泣问道：“如果有了意外，该谁继承皇位?”

武帝说：“你不明白上次图画的意思吗?立小儿子，你担当周公的职务。”武帝让霍光任大司马大将军，金日磾任车骑将军，加上太仆上官桀任左将军，搜粟都尉桑弘羊任御史大夫，都拜伏在卧室内的床下，接受遗诏辅佐少主。

第二天，武帝逝世，太子继承天子的尊号，就是孝昭皇帝。昭帝年方八岁，国家大事全由霍光决断。