帝在讲筵，每问经史疑义及古人姓名，似道不能对，万里常从旁代对。时王夫人颇知书，帝语夫人以为笑。似道闻之，积惭怒，谋逐之。万里四丐祠，不候报出关。加资政殿大学士、知庆元府兼沿海制置使，不拜，予祠。后二年，知太平州兼提领江淮茶盐兼江东转运使，召拜参知政事，进封南康郡公，既至，拜左丞相兼枢密使。丐祠，加观文殿大学士知福州，辞，依旧职，提举洞霄宫。又授知潭州、湖南安抚大使，加特进，寻予祠。时咸淳九年，万里年七十有六矣。

次年，大元兵渡江，万里隐草野间，为游骑所执，大诟，欲自戕，既而脱归。先是，万里闻襄樊失守，凿池芝山后圃，扁其亭曰“止水”，人莫谕其意，及闻警，执门人陈伟器手，曰：“大势不可支，余虽不在位，当与国为存亡。”及饶州城破，军士执万顷，索金银不得，支解之。万里竟赴止水死。

左右及子镐相继投沼中，积尸如叠。翼日，万里尸独浮出水上，从者草敛之。万里无子，以蜀人王橚子为后，即镐也。事闻，赠太傅、益国公，后加赠太师，谥文忠。万顷历守大郡，为提举江西常平茶盐，官至正郎。城破时，郴州守赵崇榞寓居城中，亦死之。