其时被列党籍者17人，李格非名在第五，被罢提点京东路刑狱之职。九月，徽宗亲书元祐党人名单，刻石端礼门，共120人，李格非名列第二十六。而在同一年，赵挺之却一路升迁，六月除尚书右丞，八月除尚书左丞。为救父之危难，李清照曾上诗赵挺之。

对此，张尝谓：“(文叔女上诗赵挺之)救其父云：‘何况人间父子情’，识者哀之。”(《洛阳名园记》序) 晁公武亦云：“(格非女)有才藻名，其舅正夫(挺之字) 相徽宗朝，李氏尝献诗云：‘炙手可热心可寒’。”(《郡斋读书志》)惜均未奏效。被罢官后的李格非，只得携眷回到原籍明水。

朝廷党争愈演愈烈，李格非“元祐党人”的罪名竟株连到李清照身上。崇宁二年(1103年)九月庚寅诏禁元祐党人子弟居京;辛巳，诏：“宗室不得与元祐奸党子孙为婚姻。”(《宋史》卷十九《徽宗本纪》)崇宁三年(1104年)，“夏，四月，甲辰朔，尚书省勘会党人子弟，不问有官无官，并令在外居住，不得擅自到阙下”(《续资治通鉴》卷八十八) 。

据此，李清照与赵明诚这对原本恩爱的夫妻，不仅面临被拆散的危险，而且偌大的汴京，已经没有了李清照的立锥之地，不得不只身离京回到原籍，去投奔先行被遣归的家人。

政治风云变幻，世事翻覆莫测。崇宁四年(1105年)暮春，赵挺之始除尚书右仆射兼中书侍郎。六月，“(因)与(蔡)京争权，屡陈其奸恶，且请去位避之”，遂引疾乞罢右仆射(《宋史?赵挺之传》)。仅仅过了半年多，崇宁五年(1106年)二月，蔡京罢相，赵挺之复授尚书右仆射兼中书侍郎。

与此同时，朝廷毁《元祐党人碑》，继而大赦天下，解除一切党人之禁，李格非等“并令吏部与监庙差遣”(《续资治通鉴拾补》卷二十六)，李清照也得以返归汴京与赵明诚团聚。但是，宋徽宗大观元年(1107年)正月，蔡京又复相，无情的政治灾难又降到了赵氏一家头上。三月，赵挺之被罢右仆射后五日病卒。卒后三日，即被蔡京诬陷。

家属、亲戚在京者被捕入狱，因无事实，七月狱具，不久即获释。但赵挺之赠官却被追夺，其子的荫封之官亦因而丢失，赵家亦难以继续留居京师。李清照只好随赵氏一家回到在青州的私第，开始了屏居乡里的生活。李清照、赵明诚屏居青州，始于宋徽宗大观元年(1107年)秋。次年李清照25岁，命其室曰“归来堂”，自号“易安居士”。