何铸为之震惊，觉察其冤，便告白秦桧，秦桧不悦，说“此上意也”。托言是皇上旨意，何铸又晓之以理回曰：“铸岂区区为一岳飞者，强敌未灭，无故戳大将，失士卒心，非社稷之长计。”秦桧语塞，改命心腹万俟禼续审，承秦桧之意，构岳飞成死狱。

秦桧衔何铸遣使金，为报谢使。何铸曰：“是行犹颜真卿使李希烈也。”意为唐德宗时，李希烈叛乱，颜真卿被派往劝谕，李希烈缢死。然君命不可辞，既返命。于是，秦桧指使万俟禼，以何铸与岳飞有私而庇护、不主和议为由，弹劾何铸，欲充军岭南。

朝廷不允，降何铸为秘书少监，贬谪徽州。再遣使金归，报将大用。任以端明殿学士，提举万兴观兼侍读，何铸力辞。后任资政殿学士，知徽州，数月后提举江州太平兴国宫，卒年六十五岁。