所以，对于秦桧，他言听计从;而张俊，位于武将之首，他内心的向背，决定着赵、秦对他的态度，当然，也决定着他自己的荣辱乃至生死。立国以来，赵宋王朝的权力顶层一直有一种惧武的心病，怕武将坐大，对政权构成威胁，对位子构成威胁。有一次，赵构问张俊，你读过郭子仪传吗?张俊说没有。

于是，赵构意味深长地告诫张俊说：“郭子仪虽然常常领兵在外，但他心怀朝廷，尊敬朝廷，皇帝有诏，立刻就到……如今，你所管之兵，乃朝廷之兵，如果你像郭子仪一样心怀朝廷，尊敬朝廷，不但自己能享尽荣华，子子孙孙也会代代昌盛。对赵构猜忌武将的心思，秦桧洞若观火。

当时，南宋军民有以将领姓氏为军号的习惯，称张俊统领之军为张家军，韩世忠的为韩家军，岳飞的为岳家军。秦桧乘机在赵构耳边煽风点火说：“诸军但知有将军，不知有天子，跋扈有盟，不可不虑。”秦桧此语，直接促成赵构下定收兵权的决心。收兵权是最敏感的事情，弄不好就会鸡飞蛋打、引火烧身，得一步一步来。首先要有一位威望高、兵权大者附议、协助。

赵、秦二人几乎同时看中了张俊，他们在对张俊的看法和态度上也出奇的一致。抗金以来，张俊本身勇气不足、情绪不高，且有畏敌怯战之举，胜仗有，败绩也不少，如《宋史》中所总结说：“不能守越，又弃四明，负亦不少。”更重要的是，他贪财好色，容易收买。当秦桧拉拢他，约他附和议时，张俊一拍即合，力赞议和。

在要解除他和岳飞、韩世忠三大将兵权时，秦桧承诺三大将兵权收后全部归他统领，见利忘义的张俊当然求之不得，立马成了卖国求荣者的帮凶。绍兴十一年，赵构以酬赏“拓皋之捷”为名，召张俊、韩世忠、岳飞三大将到临安，论功行赏，趁机解除三大将的兵权，张俊主动交出了自己的军队。于是，赵构重用张俊为枢密使，领全国兵权，不久又加太傅，封广国公、益国公。

其实，当初收众将兵权悉归张俊的承诺，其实也不过是赵构、秦桧为收兵权而采取的权宜之计罢了。后来，张俊在枢密使位上毫无去意，赵构又坐不住了，绍兴十二年，秦桧安排殿中侍御史江邈弹劾张俊，把他罢为节度使，充醴泉观使。不久，封清河郡王，奉朝请。

郡王不过是一种有职无权的虚衔，所谓奉朝请，即保留定期参加朝会的资格。至此，赵构又彻底把张俊逐出了权力中心，让他一边赋闲去了，这一年，张俊才56岁。十二年后，张俊去世。期间，他过了十二年的赋闲日子，虽然家财万贯，纡金曳紫，但他的内心，想必也是十分落寞的吧。

对张俊的评价，历来不怎么好，明朝人还把他铸成铁人，长跪于岳飞墓前，遭人唾弃。《宋史》评价他说：“南渡后，(张)俊握兵最早，屡立战功，与韩世忠、刘锜、岳飞并为名将，世称张、韩、刘、岳。然濠、寿之役，俊与锜有隙，独以杨沂中为腹心，故有濠梁之劫。岳飞冤狱，韩世忠救之，俊独助桧成其事，心术之殊也，远哉!”所以，与其他诸将来比，张俊的品行操守，的确殊如霄壤。