顺便要提到的是，元载是一位靠应试老、庄、列、文起家的文人，却容不得同道。第四次则大约发生于代宗大历末、建中初。大历十二年(777)，元载被诛，李泌又被召回，却再一次受到常衮的排斥，先让李泌到澧朗峡(在今湖南省澧县)当团练使，不久，又调任杭州刺史。

实际上，李泌还有第五次离京的经历。建中四年(783)，泾原兵变，德宗逃往奉天，身处危难的德宗又把李泌召到身边。这一次，李泌在朝廷也仅呆了两年，至贞元元年(785)，又被任命为陕虢观察使。观察使的地位比较高，所以不能被视为受到排挤。到了贞元三年(787)，李泌才回到朝廷，当上了宰相(同中书门下平章事)，封邺侯。贞元五年(789)，一代奇才李泌去世。

四次被排挤出朝廷，又四次回到朝廷，且一次比一次更受重视，这在中国历史上是不多见的。屡蹶屡起的原因，主要得力于他恰当的处世方法和豁达的心态。每次被赶出朝廷，虽然我们不敢断定他就没有怨心，但我们的确没有听到他的怨言，这是他没有受到进一步迫害、能够东山再起的根本保证。

李泌先后五次入京为官，除前两次为主动人京外(第二次肃宗曾召李泌，李未接到诏书即起身赴行在)，后三次都是被召，这说明李已经达到了顺应外物、无我无己的境界。李泌还做到了儒家所提倡的“用之则行，舍之则藏”，“行”则建功立业，“藏”则修心养性，出处都过得十分充实，心情都很平静。

如果他整天都在怨天尤人、满腹忧愁，为自己的不平遭遇愤愤不平，他的身体大概也无法坚持到位极人臣的那一天。李泌对待个人进退荣辱的平静心态，对今人也是有启发意义的。