孝景四年，册封栗太子，任命窦婴为老师，七年，栗太子被废黜，窦婴便称病辞官，隐居在蓝田终南山下数月，窦婴的各位宾客辩士前去劝说，没有人能使他回来。

梁人高遂于是前去游说：“能够使将军富贵的，是皇上;能够宠爱将军的，是太后。现在将军担任太子的老师，太子被废黜而不能争辩;争辩也没有人听，又不能去死。自己称病辞官，携赵女隐居而不上朝。这是自我表白而宣扬皇上的过失。那么妻子儿女就将被诛杀无一幸免了。”窦婴认为他说得对，于是出山，像以前一样入朝拜见。

桃侯被免相位后，窦太后在皇上面前屡次举荐魏其侯。景帝说：“太后难道认为我有所吝惜，不任用魏其侯为丞相吗?魏其侯沾沾自喜，办事常常草率轻浮，很难胜任丞相，担当重任。”

于是不任用窦婴，而任用建陵侯卫绾做了臣相。

景帝六年，太后驾崩。窦婴失去窦太后(的支持)，就更加遭到疏远而不得任用，没有了权势。

评论说：窦婴凭借外戚的身份而担当重任，声名显赫，位处卿侯，定下大业。然而窦婴不懂得应时而变。凶蛮与仁德交会，待时发作，凭借福祉在其中(“藉福”，一说指人名)，哪里能挽救这失败呢?遇合自有天命，悲哀啊!