皇帝回到京城，在宣极殿和百官们聚会，举行了祭告和论功行赏的典礼，认为元勰的功劳在众将之上，不久任命元勰为司徒、太子太傅，侍中依旧。

不久，齐将陈显达入侵，皇帝又亲自征讨，任命元勰持节、都督中外诸军事，总管六军。当时皇帝身体不适，元勰推辞说，自己要在皇帝身边侍奉，没有时间，请求另外委任一位亲王总管军事要务。

皇帝说：“我担心他们不行，安定六军保全社稷的，除了你以外还有谁呢？”皇帝到达马圈时，病危，他对元勰说“：现在我确实不行了，霍子孟曾经以外姓而接受托付，何况你是至亲又贤能呢，不能不勉力而为了！”

元勰哭着说“：士者还是布衣的时候，尚且知道要为知己而死，何况我出自先皇，自然应当竭尽股肱之力。但我出入于机要之地，总是身居要职，这也是和周公旦之所以出逃，而周成王产生疑惑的情况相同。我并非推辞重任只求安逸，正想要上可以成就陛下有如日照一般知人之明，下则让愚臣可以得到避退下位的福分。”

皇帝考虑了许久，才说“：我仔细考虑了你所说的话，从道理上说确实难以违背。”于是，他亲手写了诏书给宣武帝，说道：“你的六叔元勰，喜欢佛门清规，喜欢赏心悦目，有如白云洁净，厌于荣耀，舍弃官职，以松竹为本心。”

皇帝在行宫去世，严加保密，只跟右仆射、任城王元澄以及身边的几个人商议对策，将孝文帝迁放到安车里。元勰等人进进出出，和平时一样，看视疾病，送进饮食，处置外面的奏章。

过了几天，到达宛城，便在夜间将安车放进郡衙的大厅，这才得以收殓和放进棺材里，用卧车载着。六军内外，没有人知道。同时派中书舍人张儒带着诏书召宣武帝前来会见皇帝。

当棺材运送到鲁阳时，这才发丧和开始穿丧服。宣武帝即位，元勰跪着将孝文帝写有遗诏的几张纸交给宣武帝。咸阳王元禧怀疑元勰有政变的可能，停留在鲁阳郡外面，过了许久才入城。他对元勰说：“你不但很辛苦，而且也危险极了。”

元勰十分恼恨，回答说：“哥哥见识高年纪大，所以知道什么是平安什么是危险，我是手握蛇而身骑虎，不知道艰难。”元禧说“：你是恨我晚到吧！”

自从孝文帝身体不好之后，元勰常留在宫中，亲自侍奉，请医求药，日夜不离左右，以至于衣不解带，蓬头垢面。皇帝久病多怒，因而常常迁怒于人，元勰常常受到他的讥讽和责骂，皇帝言语严厉，痛斥近侍人员，动则要把他们问斩。

元勰尽心地承受这些，千方百计地加以补救和回护。当皇帝去世时，齐将陈显达刚刚逃跑，元勰担心皇帝去世的凶讯泄露出去，会使敌人回头来进逼。所以他虽然内心十分悲痛，表面上仍保持和颜悦色，进出举止，神态和平常毫无差别。

当到达鲁阳时，东宫的官员们大多怀疑元勰别生异心，暗中怀有防备和恐惧的心理。而元勰推心置腹，诚挚尽礼，毫无一点过失。元勰上皇帝的谥号时说“：按时祭享为孝，五宗安宁为孝；道德博闻为文，治理天地为文，可上尊号为孝文皇帝，庙号高祖，陵称为长陵。”宣武帝听从了。

安葬之后，宣武帝坚持委任元勰为宰相。元勰多次口述孝文帝的遗诏，请求满足他过去的心愿。皇帝对着元勰多次伤心痛哭，总是不肯答应。

由于元勰多次上表，言辞恳切，皇帝觉得难以违背父亲的遗诏，便答应了他的请求，但是仍强迫他到外面任职，任命他为都督、定州刺史。元勰仍然再三辞让，皇帝不许可，这才前去任职。皇帝寄信给元勰，按照家人礼节极为尊敬，仍然要请他回京。

景明初年，齐国的豫州刺史裴叔业以寿春前来归降，皇帝诏令元勰都督南征诸军事，和尚书令王肃一起去寿春接纳。又任命元勰为司徒。

又传旨让元勰以本官兼领扬州刺史，晋位为大司马，领司徒。齐国将军陈伯之驻守在肥口，胡松又占据梁城。元勰部署军队，多次打败了他们。

淮南被讨平后，朝廷召回元勰。起初，元勰在安定寿春时，曾得到齐的汝阴太守王果、豫州中从事庾稷等几个人，元勰真诚地以礼相待，常让他们参与坐席。王果乘机请求回到江南，元勰私下答应了他们。

王果又十分感激地说“：王果等今日返回，全靠您仁慈恩德，请让我们期待于您大驾南征，自当策应于江东。”于是他们都回去了。他被远方人士所怀念到这种程度。

元勰回到京城，多次上表辞去大司马、领司徒职务以及所增加的食邑，请求让他回到中山，皇帝下诏不允许。便任命他为录尚书，侍中、司徒照旧，他坚辞多次，不被许可。

这时咸阳王禧因为骄傲自大，经常做些违法的事情，北海王元详便私下告诉了宣武帝；他同时又说，元勰大得人心，不应久在宰辅之位，劝皇帝遵从遗诏。

元禧等又把领军于烈外放到恒州任职，于烈十分不满。于烈的儿子于忠经常在皇帝身边，北海王便暗地里让于忠向皇帝进言，应当早日亲理朝政。这时正准备进行春天的礻勺祭，王公们都在太庙东坊斋戒。

皇帝派于忠带领六十名壮士去召元禧、元勰、元详等前来会见。皇帝对元勰说“：近来因南北事务纷繁，未能早些实现您的节操。我元恪是什么样的人，竟敢长久地违背先人遗旨？从今起满足叔叔洁身修行的愿望。”

他便传旨替元勰建房，务必简朴，以满足他的心愿。元勰因此而写了《蝇赋》来咏怀。朝廷又任命元勰为太师，元勰便坚辞不就。皇帝让侍中前来劝谕，又亲自写信给他，以家人的身份向他表示敬重，元勰不得已只得接受任命。

皇帝前后多次到元勰家里。当京兆王、广平王暴虐不守法度时，皇帝让侍卫军队带领羽林军、虎贲军把诸王软禁在他们的府中，元勰上表恳切地劝谏，皇帝不肯采纳。

当时议定法律条令，元勰和高阳王元雍、八坐官员、朝臣中有才学的人，五天集会一次，研究有关制度合适与否的问题。凡是议定的意见，都被当时贤士们所赞许。

朝廷又任元勰加侍中。元勰崇尚文史，撰写了自古以来的帝王贤臣直至魏朝子孙们，以族相从，共为三十卷，书名为《要略》。

元勰本性仁孝。他向朝廷进言，委任他的舅舅潘僧固为长乐太守。京兆王元愉反叛时，潘僧固也被迫赞同。尚书令高肇性情凶恶残忍，原来高肇哥哥的女儿入宫当了夫人，顺皇后去世以后，皇帝打算立她当皇后，元勰坚持认为不合适。