祖常犹未以为然。一日，邀集过其家，设宴，酒半，出荐牍求集署，集固拒之，祖常不乐而罢。文宗崩，集在告，欲谋南还，弗果。幼君崩，大臣将立妥欢帖穆尔太子，用至大故事，召诸老臣赴上都议政，集在召列。祖常使人告之曰：“御史有言。”乃谢病归临川。

初，文宗在上都，将立其子阿剌忒纳答剌为皇太子，乃以妥欢帖穆尔太子乳母夫言，明宗在日，素谓太子非其子，黜之江南，驿召翰林学士承旨阿邻帖木儿、奎章阁大学士忽都鲁笃弥实书其事于《脱卜赤颜》，又召集使书诏，播告中外。时省台诸臣，皆文宗素所信用、同功一体之人，御史亦不敢斥言其事，意在讽集速去而已。伯璲后以用事败，杀其身，世乃服集知人。

元统二年，遣使赐上尊酒、金织文锦二，召还禁林，疾作不能行，屡有敕，即家撰文，褒锡勋旧、侍臣。有以旧诏为言者，帝不怿曰：“此我家事，岂由彼书生耶!”至正八年五月己未，以病卒，年七十有七。官自将仕郎十二转为通奉大夫。赠江西行中书省参知政事、护军，封仁寿郡公。

集孝友，方二亲以故家令德，中遭乱亡，侨寓下邑，左右承顺无违。弟盘，早卒，教育其孤，无异己子。兄采，以筦库输赋京师，亏数千缗，尽力营贷代偿之，无难色。抚庶弟，嫁孤妹，具有恩意。山林之士知古学者，必折节下之，接后进，虽少且贱，如敌己。当权门赫奕，未尝有所附丽。集议中书，正言谠论，多见容受，屡以片言解疑误，出人于滨死，亦不以为德。张珪、赵世延尤敬礼之，有所疑必咨焉。

家素贫，归老后食指益众，登门之士相望于道，好事争起邸舍以待之。然碑板之文，未尝苟作。南昌富民有伍真父者，赀产甲一方，娶诸王女为妻，充本位下郡总管。既卒，其子属丰城士甘悫求集文铭父墓，奉中统钞五百锭准礼物，集不许，悫愧叹而去。其束修羔雁之入，还以为宾客费，虽空乏弗恤也。

集学虽博洽，而究极本原，研精探微，心解神契，其经纬弥纶之妙，一寓诸文，蔼然庆历乾淳风烈。尝以江左先贤甚众，其人皆未易知，其学皆未易言，后生晚进知者鲜矣，欲取太原元好问《中州集》遗意，别为《南州集》以表章之，以病目而止。平生为文万篇，稿存者十二三。

早岁与弟盘同辟书舍为二室，左室书陶渊明诗于壁，题曰陶庵，右室书邵尧夫诗，题曰邵庵，故世称邵庵先生。子四人，安民，以荫历官知吉州路安福州。游其门见称许者，莆田陈旅，旅亦有文行世。国学诸生若苏天爵、王守诚辈，终身不名他师，皆当世称名卿者。其交游尤厚者，曰范梈。