我们说李泌的处世态度十分机智，充分地表现了一位政治家、宗教家的高超智慧。李泌这个人出道很早，是玄、肃、代、德四朝元老。可见李泌的政治生涯还是很长远的，李泌四次归隐，五次离京的故事又是怎么样的呢?

第一次发生在玄宗天宝年间，当时隐居嵩山的李泌上书玄宗，议论时政，受到玄宗的重视，“令待诏翰林，仍东宫供奉”。然而却遭到杨国忠的嫉恨，说李泌曾写《感遇诗》讽刺朝政，结果李泌被送往蕲春郡(今湖北省蕲春县)安置，而李泌干脆脱离了官府，“乃潜遁名山，以习隐自适”(《旧唐书·李泌传》)。

第二次大约发生于肃宗至德末、乾元初。自从肃宗灵武即位时起，李泌就一直在肃宗身边，为平叛出谋划策，《旧唐书·李泌传》说他当时虽然没有身担要职，却“权逾宰相”。正是这种与皇上极为亲密的关系，招来了权臣崔圆、李辅国的猜忌。

收复京师后，为了躲避随时都可能发生的灾祸，也由于平叛大局已定，李泌便主动要求离开权力的中心，进衡山修道，“有诏给三品禄，赐隐士服，为治室庐”(《新唐书·李泌传》)。

第三次发生在代宗大历年间。代宗刚一即位，就马上把李泌从衡山召进京师，任命他为翰林学士，并勉强他吃肉，还为他娶朔方故留后李的甥女为妻。当时的权相元载认为李泌不肯依附自己，留在朝廷对自己是一个潜在的威胁，此时刚好江西观察使魏少游请朝廷为他派去一些僚佐，于是元载就盛称李泌有才，可担任此任，于是就在重用人才的名义下把李泌赶出了朝廷。