宋高宗只要求将生父宋徽宗的灵柩与生母韦太后接回，只字不提宋钦宗。韦太后归来时，宋钦宗哭着对韦太后说，他若回去，只当一位太乙宫主即可，但宋高宗依旧不理不睬。绍兴和议后，金人册封赵构为皇帝，也算是金人给赵构的一个承诺。

1143年，也即宋高宗母亲韦太后归国的第二年，金人就“有归钦宗及诸王、后妃意”，但宋高宗始终没有积极回应，致使包括宋钦宗在内的北掳的北宋宗室全部死于异国他乡。值得一提的是，宋高宗的妻女当时也一同被掳往北方，但宋高宗始终没有提及寻找或迎还之事，其中的隐情已不得而知。

金名将岳飞，他一方面极力拉拢，目的只是保住南宋的半壁江山。《宋史·岳飞传》记载道，宋高宗曾手书“精忠岳飞”四字，制旗赐给岳飞，还对岳飞说：“中兴之事，一以委卿”。但另一方面，因为岳飞屡屡提出主动进攻，要“迎还徽、钦二帝”，这正戳痛了宋高宗敏感的神经。岳飞坚定地反对宋高宗制定的议和大战略，成为议和之路上的绊脚石，不得不让宋高宗痛下杀手。

宋孝宗继位后，立即对岳飞冤案进行平反昭雪，此举得到了当时已经退居太上皇的宋高宗的默许。宋高宗心中比谁都明白，岳飞的确是冤枉而死的。在平反岳飞一案中，宋孝宗在诏书中就有“太上皇念之不忘，今可仰承圣意，与追复原官”等语，显然是受到了宋高宗的支持。

看来，无论心中有多少纠结，宋高宗至始至终都是一个明白人。1187年，当了25年太上皇的宋高宗带着他一生所有的纠结离开了人世，时年81岁。