隆兴元年(1163年)五月，张浚改任刘宝为镇江军都统制，亲自渡过淮河到泗州招抚将士，再返回扬州，上疏自劾。朝中主和派，对张浚议论纷纷，孝宗不为所动。金帅纥石烈志宁来信，重申金国的议和要求。汤思退劝孝宗答应金人的要求，参政赵葵也附和汤思退。工部侍郎张阐反对。孝宗派赞成张阐意见，派卢仲贤到金军回信。孝宗叮嘱卢仲贤不能轻易答应割让海、泗、唐、邓等州。

汤思退却私自告诉卢仲贤：“如果能和，四州也不妨给金。”卢仲贤到宿州见金使仆散忠义，被金人吓得不敢说一句话，答应回去禀告。忠义又重新提出和议要求：南北通书，改称叔侄;割让海、泗、唐、邓四州;岁纳银币如旧额;须送交叛臣，并归还中原归附人民。孝宗得知后，将卢仲贤逮捕下狱，夺去他的官阶，除名流放郴州。

隆兴二年(1164年)，得到消息，说使臣胡昉被金人抓去，孝宗叹息说：“和议不成，大约是天意吧。”召回王之望等，命张浚巡视江、淮备战。汤思退非常焦急，请孝宗禀告太上皇，再做决定。孝宗批复：“金人如此无礼，卿还想议和吗?况且现在敌人的势力，不是秦桧时可比，卿还天天要议和，连秦桧都不如。”汤思退非常害怕。

金人放胡昉回来报告宋廷，妥善商量和议，汤思退又振振有辞。他唆使王之望、钱端礼上奏说军备不坚固，国库空虚，希望以符离之战为鉴，应该议和。孝宗派王之望、钱端礼宣谕两淮，召张浚回朝任职。张浚正大造战船，号令两河豪杰，一心北伐，并派降将萧琦去请辽人声援。钱端礼到了淮上，竟上奏说：“名曰守备，守未必备，名曰治兵，兵未必治。”

张浚得知消息，连续上表请求退休，孝宗授他为少师，兼保信军节度使，南判福州。孝宗下令撤退两淮边备。张浚在中途积忧成疾去世。张浚一死，太学生张观等七十二人又上书，请求诛杀汤思退、王之望、尹穑以谢天下。汤思退听到消息，在恐惧中死去。

孝宗重新任命陈康伯为尚书左仆射，钱端礼签书枢密院事，虞允文同签书枢密院事;命王之望到长江犒军。十一月，金军接连攻下楚、濠、滁等州，气焰逼人。十二月，宋金和议达成两国境界如前约;宋以叔父礼事金，宋主称侄宋皇帝，金称叔大金皇帝;岁纳银币，照原约各减五万，计银二十万两，绢二十万匹。