神宗崩，哲宗立，永裕陵财费，不逾时告备，宰相乘间复徙之兵部。太仆寺请内外马事得专达，毋隶驾部。存言：“如此，官制坏矣。先帝正省、台、寺、监之职，使相临制，不可徇有司自便，而隳已成之法。”元祐初，还户部，固辞不受。二年，拜中大夫、尚书右丞。三年，迁左丞。

有建议罢教畿内保甲者，存言：“今京师兵籍益削，又废保甲不教，非国家根本久长之计。且先帝不惮艰难而为之，既已就绪，无故而废之，不可。”门下侍郎韩维罢，存言：“去一正人，天下失望，忠党沮气，谗邪之人争进矣。”又论杜纯不当罢侍御史，王觌不当罢谏官。

四方奏谳大辟，刑部援比请贷，都省屡以无可矜恕却之。存曰：“此祖宗制也。有司欲生之，而朝廷破例杀之，可乎?”又言：“比废进士专经一科，参以诗赋，失先帝黜词律、崇经术之意。”河决而北几十年，水官议还故道，存争之曰：“故道已高，水性趋下，徒费财力，恐无成功。”

卒辍其役。蔡确以诗怨讪，存与范纯仁欲薄其罪，确再贬新州，存亦罢，以端明殿学士知蔡州。始，存之徙兵部，确力也。至是，为确罢，士大夫善其能损怨。岁余，加资政殿学士、知扬州。扬、润相去一水，用故相例，得岁时过家上冢，出赐钱给邻里，又具酒食召会父老，亲与酬酢，乡党传为美谈。

召为吏部尚书。时，在廷朋党之论浸炽，存为哲宗言：“人臣朋党，诚不可长，然或不察，则滥及善人。庆历中，或指韩琦、富弼、范仲淹、欧阳修为党，赖仁宗圣明，不为所惑。今日果有进此说者，愿陛下察之。”由是复与任事者戾，除知大名府，改知杭州。

绍圣初，请老，提举崇禧观，迁右正议大夫致仕。旧制，当得东宫保傅，议者指存尝议还西夏侵地，故杀其恩典，既而降通议大夫。存尝悼近世学士贵为公卿，而祭祀其先，但循庶人之制。及归老筑居，首营家庙。建中靖国元年，卒，年七十九。赠左银青光禄大夫。

存性宽厚，平居恂恂，不为诡激之行，至其所守，确不可夺。司马光尝曰：“并驰万马中能驻足者，其王存乎!”