二个小孩往前一站，忽然一只猫从跟前经过，伯踪一动也没动，而胖小孩童趣突现，飞起一脚。高宗见状，觉得胖小孩太轻狂，将来是无法将社翟交给他掌管的，于是将伯琼留了下来。从此，六岁的伯琼开始了他漫长的宫廷生活。1143年底，赵缓生父在秀州病逝，第二月讣告传到临安。其时赵缓正在娶亲，接到死讯，左右为难。

自己人宫十多年，已作为储君候选人，但现今生父去世，不守丧服孝，也不合礼仪，到底该怎么办?大臣们为这事发起愁来，为赵缓出主意的不少，各种主张都有，更令赵缓失去了方向。宰相秦桧对赵暖从没好感，一直想让赵豫代替赵缓，这时极力主张赵缓应该回秀州服孝三年。高宗想想不让他服孝不合祖宗典故，有悖于人情世故，就批准他解职守丧。

三年后，赵缓服丧毕，仍以普安郡王遥领节度使。几乎同时，高宗加封赵球为检校少保，进封恩平郡王，出宫就居郡王府。一时赵缓与赵壕并为郡王，地位相当，号称“东西府”。　秦桧死后，一些大臣再次提出立储问题。晋原人阎安在考进士的策文中大胆地发论数千言，认为高宗挑选太祖后裔于宫中已有二十多年了，对他的考察时间已经很长，但储君却一直未定。

恐怕朝廷中的俊臣会暗生异望，朋比结党，成为社樱遗祸。1161年，金国完颜亮率军南侵，宋金又一次爆发全面战争。这年12 月，宋军转守反攻，高宗离京前往建康亲征，赵玮随从前往。在高宗亲征过程中，赵玮表现出了高昂的斗志，亲自安排高宗的饮食起居，帮助整理各种奏章书疏，受到了朝野上下的赞誉。162年5月，高宗颁下一道诏令，宣布立赵玮为太子，开始了禅位的第一步。

6月10日，高宗颁旨说自己在位三十六年了，皇太子贤圣仁孝，天下共知，久得民心，皇太子可即帝位，自己称太上皇。次日，高宗退位和孝宗即位的隆重仪式在宫城内同时举行。在相互推让中，已改名为赵奋的皇太子身穿黄龙袍，正式坐上了皇帝的宝座。