李光上疏极力指责朋党的危害：“议谏大臣，各人怀有避讳顾虑之意，不肯把持危抉颠作为己任。行都在会稽，前后历时三载。从前一年到现在，敌人不再有南渡意向，淮甸近在咫尺，一点也不着意经营，长江千里，不设防备敌，每天怀着怯意细考乘船浮海之计。晋元帝区区草创，还能建立国家，修建宫殿，保有江、浙。刘琨、祖逖与逆胡在并、冀、兖、司、雍诸州抵抗作战，这些地方从未陷没。石季龙重兵已到历阳，晋元帝任命王导都督中外诸军以抗御敌人，没有听过专门躲避胡狄像今天这样的。陛下驾临会稽，江、浙是天下之根本，能够进足以战，退足以守的地方，莫如建康。建康到姑熟一百八十里，其间险要可守之地有六处：江宁镇、碙砂夹、采石、大信，上游则有芜湖、繁昌，都与淮南对境。其余都是芦条枝蔓之地，或是奇岸险滩水势湍急，难于行走舟船。不如预先在各险要之地屯兵积粮，命令将士分管各地，调发邻近乡兵，协力守御。请求明诏命令大臣，斟酌实行。”

当时有诏令，金兵攻入，各地守臣互相商量，可守可避，得以自便。

李光上言：“守臣担负人民、国家的重任，应当责之以存亡。如果预先开启迁避之门，是引诱他们逃跑，希望追回前命。”

高宗打算迁到临安，李光受旨节制临安府现时驻扎诸军，兼任户部侍郎，督营缮后之事。

李光处理军政适宜，不惊扰百姓而办好了政事。奏请减免两浙历年积欠及九县赋敛，以表示施德自近之意。

戚方以管军隶属于李光节制，非常恐惧，跪拜在庭下。李光握着他的手扶起他，说：“你过去做盗贼，我任郡守，抓捕你是我份内的事;现在都是臣子，应当共同勉励忠义，不要以先前的事猜疑。”戚方感激得哭泣起来。

又兼任侍读，于是上言说：“金人侵犯内地，百姓失业为强盗，本非其意，可以用诚意感召他们。自从李成逃到北方，群盗离心，如果此时选用一两个盗贼首领，以激励他们，一定会互相钦慕，相继归降。”升任吏部尚书。

大将韩世清本是苗傅余党，长期驻扎宣城，擅自占据仓库，不听征调。

李光请求先行除掉他，于是任命李光为淮西招抚使。李光假道到宣城，韩世清前来相见，李光把他捆送到朝廷受诛。

当初，李光在高宗面前陈述计划，宰相没有事先知道，怀怒于他。

他还未到任，途中任命他为端明殿学士、江东安抚大使、建安知府，寿春、滁、濠、庐、和、无为宣抚使。

当时太平州士卒陆德囚禁当地守臣据城叛乱，李光多方设计，全部捉获叛贼。

秦桧被罢相后，吕颐浩、朱胜非共同任宰相，李光历来与他们政见不合。谏官指斥他为秦桧同党，被夺职奉祠。

不久复任宝文阁待制、湖州知州，授任显谟阁直学士，改任平州知州，授任礼部尚书。

李光上言说：“自古创业中兴，一定有所依恃而起。汉高祖依恃关中，汉光武帝依恃河内，陛下驻扎东南，两浙难道不是天下的根本，是可倚恃之地吗?从冬天到春天，雨雪不停，百姓失业，请求选择谏官考察实情予以报告。加之连年福建、湖南盗贼作乱，范汝为、杨么相继而起，朝廷派大军诛讨，杀戮过当。现在各地旱荒，流丐满路，盗贼出入。应选择良吏招怀抚纳，责令各地监司惩治贪赃，抚恤饥民。”

大臣建议把四川交子法推广到江、浙，李光说：“有钱则交子可行。现在已经声称筹办多少钱，发行多少交子，提出此议的人打算让朝廷欺骗陛下，使陛下今后不免欺骗百姓。如果已经筹办现钱，则目前所发行的钱关子，已是流畅无阻，何至议论纷纷?工部所铸造的交子务铜印，我不敢下发。”授任端明殿学士，守台州，不久改任温州知州。

刘光世、张俊接连传来捷报。李光说：“观察金人部署，一定有阴谋。现在我方已占据东南形势，敌人万里来袭，利于速战，应当戒令诸将持重而拖延消耗敌人。不过数月，敌人粮食耗尽，则胜券操在我方手里。”

授任江西安抚、洪州知州兼制置大使，升任吏部尚书;过了一月，授任参知政事。

当时秦桧开始倡议和议，准备张榜告示，打算借李光的名望来压制民心。

高宗本意不想用李光，秦桧说：“李光有名望，如果一起签名，浮议会自动停息。”便用了李光。

同郡人杨炜上书李光，指责他借依附权相谋取高官，中了敌人奸议，毁掉了平日的气节。李光本意认为只是趁和议之机作自治的打算。

后来秦桧建议撤掉河南守备，夺去诸将兵权，李光极力陈述戎狄狼子野心，和谈不可依恃，守备不可撤除。秦桧憎恶他。

秦桧任命亲党郑亿年为资政殿学士，李光在高宗面前当面反对;又与秦桧在高宗面前辩论，便说：“看秦桧的心意，是想堵塞蒙蔽陛下的耳目，盗弄国权，怀奸误国，不可不察。”秦桧大怒。

第二天，李光请求罢职。高宗说：“你昨天当面斥责秦桧，举动像古人。朕退朝后叹息，正要寄心腹于你，为什么要辞职呢?”

李光说：“臣与宰相争论，不可留任。”九次上章请求，便被授任为资政殿学士、绍兴知府，改任提举临安洞霄宫。

绍兴十一年(1141年)冬，御史中丞万俟卨指责李光阴怀怨恨，贬职为建宁军节度副使，安置在藤州。

绍兴十五年(1145年)，移置琼州。

绍兴二十三年(1153年)，李光在琼州八年，次子李孟坚因被陆升之诬为私撰国史，被立案;吕愿中又告李光与胡铨诗赋唱和，讥谤朝政，移置昌化军。

他议论文章考证历史，怡然自得。年过八十，笔力精健。

绍兴二十八年(1158年)，因郊祭之恩，复左朝奉大夫，任其自便居住。

绍兴二十九年(1159年)，致仕，于四月三日(4月22日)在江州去世，年八十二。

宋孝宗即位后，追赠李光为资政殿学士，赐谥号为“庄简”。

嘉定十五年(1222年)，郡邑立李光祠于学，以配先贤，四季祭享。