年幼即喜书，少读书于庐山五老峰白石庵僧舍，为官以后，而留所藏书9 000卷于室内，后增至2万余卷，世人称为“李氏山房”。南宋著名学者周密在《齐东野语》中记其：“藏书之富，次如曾南丰及李氏山房，亦皆一二万卷”。苏轼作有《李氏山房藏书记》。其书不藏于家，而藏于僧舍，以供大家使用，苏轼称为其“此仁者之心也，余既衰且病，无所用于世，唯得数年之间，尽读其所未见之书”。

现代学者袁同礼称其“不啻当时之公共图书馆”。南宋王明清论他的藏书和戚同文、沈立、曾巩等人均为士大夫中藏书名家。藏书后毁于兵火。著有《奏议》60卷。《诗传》10卷，《元祐会计录》30卷及文集等。