“归来堂”，取义于陶渊明《归去来兮辞》。其时，曾对清照极为称赏的文学家晁补之与李清照之父同以党籍罢官归隐，自号“归来子”。晁补之在故乡缗城 (今山东金乡)修“归去来园”，园中的堂、亭、轩皆以《归去来兮辞》中之词语命名(见晁补之《归来子名缗城所居记》) 。李清照、赵明诚以“归来堂”名其书房，盖出于对晁补之的仰慕，步其后而模仿之。

《归去来兮辞》中有“倚南窗以寄傲，审容膝之易安”句，清照自号“易安居士”，当亦取其中之雅意。“归来堂”中，李清照与赵明诚虽然失掉了昔日京师丞相府中的优裕生活，然而却得到了居于乡里平静安宁的无限乐趣。他们相互支持，研文治学创作;他们节衣缩食，搜求金石古籍，度过了一段平生少有的和美日月。

在《金石录后序》中，李清照对此作了较为详尽纺叙述：“后屏居乡里十年，仰取俯拾，衣食有余。连守两郡，竭其俸入，以事铅椠。每获一书，即同共勘校，整集签题。得书、画、彝、鼎，亦摩玩舒卷，指摘疵病，夜尽一烛为率。故能纸札精致，字画完整，冠诸收书家。”

青州古城是古齐国的腹心地区，是古老的文物之邦，丰碑巨碣，所在多有，三代古器，时有出土。赵明诚夫妇在当地收集到《东魏张烈碑》、《北齐临淮王像碑》、唐李邕撰书《大云寺禅院碑》等一大批石刻资料。益都出土的有铭古戟，昌乐丹水岸出土的古觚、古爵，陆续成为他们的宝藏。

政和四年 (1114年) 新秋，赵明诚题“易安居士三十一岁之照”，云：“清丽其词，端庄其品，归去来兮，真堪偕隐。政和甲午新秋，德父题于归来堂。”(《易安居士画像》及赵明诚题词，近人多判其伪。

但据《上海师范大学学报》1987年第二期吴金娣《有关赵明诚、李清照夫妇的一份珍贵资料》一文介绍，上海博物馆藏《欧阳修(集古录)跋尾》赵明诚墨迹与《画像》题词墨迹相比较，许多字的字形结构与运笔都甚相似。以此该文认为《画像》题词确为赵明诚手迹。)

政和七年(1117年)，在李清照的襄助下，赵明诚大体上完成了《金石录》的写作。除自作序言外，还特请当时著名学者刘跂题写了一篇《后序》。史称，赵明诚撰《金石录》，李清照“亦笔削其间”(张端义《贵耳集》卷上)。宋徽宗宣和三年(1121年)，李清照38岁。春、夏两季仍在青州。四月二十五、二十六日，赵明诚尝游仰天山水帘洞并题名刻洞内石壁。不久即知莱州。

初，李清照未同行。至秋八月，清照才由青州赴莱州。途经昌乐，宿于驿馆，作《蝶恋花·晚止昌乐馆寄姊妹》，表达对青州姊妹的惜别之情。八月十日，清照到达莱州，又作《感怀》诗一首。诗前有小序云：“宣和辛丑八月十日到莱，独坐一室，平生所见，皆不在目前。几上有礼韵，因信手开之，约以所开为韵作诗。偶得‘子’字，因以为韵，作感怀诗云。”