七月，改任御前右军都统制。此后张俊为南宋鞍上马下，东征西战。绍兴五年(1135年)，张俊大战刘狙，退敌十万，降敌万余。此后数年，张俊与韩世忠分守江防，使金人不敢窥江而渡，为南宋争得了休养生息的宝贵时间。

十二月，改神武军等为行营护军，张俊所部改称行营中护军。张俊与韩世忠所部为南宋两支最重要的军队，宋高宗比喻为左右手。绍兴七年，左护军副都统制郦琼率4万人叛降伪齐。次年，原刘光世部主力、左护军都统制王德所部2万人，归属于淮西宣抚使张俊。

绍兴八年(1138年)，宋、金首次议和，金将原伪齐辖区划归南宋，南宋成为金属国，张俊加少傅及安民靖难功臣号。次年，金毁约南犯，张俊兼任河南、河北诸路招讨使。金军主力宗弼围攻顺昌府战败，张俊军也渡淮北上，一度攻占亳州(今亳县)。

奸相秦桧令诸将退兵以便乞和，张俊首先退回淮南。到绍兴十年(1140年)，金兵又犯，宋将岳飞、刘锜、韩世忠、张俊奋勇争先，大败金兵，收复山河，几乎可以直捣黄龙了，可惜赵构却无心恋战，下令退军江南，致使所复疆土，得而复失。

1141年，张俊也派部将王德收复宿州(今安徽宿州)、亳州(今安徽亳州)，旋即撤兵，不支援岳飞。次年，他迎合朝廷对金议和的意向，自请解除兵权，授枢密使，张俊处于无兵权地位，独保其身，闲居府第。而皇帝赵构借此机会也顺利地解除了岳飞、韩世忠等人的兵权。同年九月，秦桧一手制造了岳飞父子的冤案。又追随秦桧制造伪证，促成岳飞冤狱。

绍兴二十六年(1156年)死，终年69岁，追封循王。葬于湖州府长城县(今浙江省湖州市长兴县)。