建炎三年二月，金军500骑兵追击至天长。宋高宗渡江南逃，刘光世所部未遇金兵即溃退渡江。被任为行在五军制置使，屯守镇江府，随后又升为殿前都指挥使，成为名存实亡的殿前司长官。三月，苗傅、刘正彦在杭州发动兵变。

四月，刘光世参与平定苗、刘兵变，升为太尉、御营副使，所部即称御营副使军。后任江东宣抚使，守太平州、池州，移守江州。九月，金军自黄州渡江，刘光世率军南逃。建炎四年二月，河北流寇郦琼围攻固始县，降于刘光世后撤围南下。

刘光世一贯畏惧金军，每逢奉诏移驻前线，大多不奉诏而设法退避，治军不严，不少流寇、叛军乐于投附为部属，成为当时人数最多的军队之一。刘光世还常虚报军额，多占军费，作战时又多不亲临前线而是坐守后方，以便必要时逃跑。

大臣们对他深为不满，但宋高宗考虑到南宋政权基础还不稳固，刘光世所部仍是不得不依靠的军事力量之一，不仅设法满足其后勤军需的供应，还不断对刘光世加官进爵，以防止其部属溃散后复为流寇或投奔伪齐。

绍兴六年十二月，右相兼都督张浚奏：“刘光世骄惰不战，不可为大将，请罢之。”而左相赵鼎则认为，刘光世“将家子.将率士卒多出其门下，若无故罢之，恐人心不可”。绍兴七年二月，宰相张浚再次上奏：刘光世“沉酣酒色，不恤国事，语以恢复，意气拂然，乞赐罢斥，以儆将帅”。

四月，刘光世罢为少师、万寿观使，其部隶属都督府。张浚意在直接控制左护军，以王德为都统制，郦琼为副都统制。果然如赵鼎所推测，引起郦琼等不少中低将领的不满，郦琼直属部队虽只5000余人，但在他的煽动裹胁下，同年八月叛归伪齐的竟达4万人之多。刘光世的行营左护军5.2万多人，仅剩王德所部8000余人及零星部队。

绍兴十年(1140)，金朝违约南侵。五月，刘锜进行顺昌保卫战时，宋高宗又重新起用刘光世为三京招抚处置使以援刘锜，显然是对罢免刘光世兵权不当的一种抚慰，也可能想利用刘光世对伪齐灭亡后又投金的旧部产生某种影响。但刘光世在宋的旧部王德不原归属，宋朝廷只能调拨李显忠、李贵、步谅等将领所属数千人归属刘光世，战斗力不强，未起多大作用。

绍兴十一年(1141)四月，南宋朝廷收韩世忠、张俊、岳飞三大将兵权;六月，刘光世也再次被收兵权，罢为万寿观使、封杨国公。绍兴十二年(1142)，刘光世死，终年54岁，谥武僖。乾道八年(1172)，追封安城郡王。开禧元年(1205)，追封鄜王。