宋高宗自登基之日起，便一直在主战与主和之间犹豫不决，这从他任命宰相的人选中，也可看出端倪。当他倾向于北伐，主战的张浚任相;一旦因情况有变而犹豫，稍稍保守的赵鼎任相;如果他倾向于向金求和，主和的秦桧就出任宰相。那么宋高宗赵构一生最为痛恨的人是谁?是什么事情让宋高宗如此仇恨?

在与伪齐对垒的过程中，由于兵骄日盛，张浚便与宋高宗商量整编军队，以免尾大不掉。在宋高宗的安排下，这年三月，张浚解去了刘光世的淮西军军权，将淮西军收为自己的都督府，以都督府参谋、兵部尚书吕祉去节制和统率。

同时，以刘光世的部将王德为都统制，郦琼为副都统制。郦琼出身流寇，与王德积隙很深，而吕祉又是一介书生，难以服众，这种安排为兵变埋下了伏笔。不久，张浚意识到这样安排欠妥，打算召回郦琼，夺其兵权，谁知消息走漏，被郦琼得知。

郦琼于当年八月发动兵变，杀死吕祉，迫使4万多淮西军投降当时还未被金废除的刘豫，史称“淮西兵变”。兵变消息传来，举国震惊，张浚一时成为众矢之的，随即被罢相，以秘书少监分司西京。当时，南宋总兵力才20余万，“淮西兵变”使南宋失去了一支关键力量，敌长我消，北伐更加难以提上议事日程了。

绍兴十一年(1141年)，宋高宗解除了韩世忠、岳飞等将领的兵权，制造了岳飞冤狱，取得了与金和谈的资格，随后杀掉岳飞，正式与金签订“绍兴和议”。在满足了金国杀害抗金英雄、向金称臣、割地、赔款等诸多屈辱条件之后，南宋得到了所谓的“和平”。

自此，宋高宗任用秦桧为独相近20年，一直执行屈辱的乞和政策。“绍兴和议”之后，张浚一步一步逐渐成了宋高宗的“眼中钉”。宋高宗把他谪贬到湖南、广东等地，前后放逐达20余年。