逃入匈奴

公元30年(建武六年)，卢芳的将军贾览率领胡人骑兵击杀了代郡太守刘兴。同年十二月，东汉将领冯异击败卢芳的贾览以及匈奴奥日逐王。北地郡、上郡、安定郡全部归降东汉。

公元31年(建武七年)冬天，卢芳因事诛杀五原太守李兴兄弟。卢芳的朔方太守田飒、云中太守桥扈因此而恐惧，于是二人各自献郡投降东汉，光武帝刘秀命他们照旧留任原官职。

公元33年(建武九年)六月，东汉大司马吴汉率领王常、杜茂等四位将军统领五万余人，在高柳县攻打卢芳部将贾览、闵堪。匈奴派兵救援，东汉军队不能取胜。于是匈奴气势变得强盛，烧杀掳掠日益严重。刘秀命朱祜驻屯常山郡、王常驻屯涿郡、破奸将军侯进驻屯渔阳郡，任命讨虏将军王霸担任上谷郡太守，以防备匈奴。

公元36年(建武十二年)，卢芳和匈奴、乌桓的军队联合，多次侵犯东汉边境。同年卢芳和贾览一起攻打云中，长时间没有攻克。卢芳的将领随昱在九原留守，想胁迫卢芳投降东汉。

公元37年(建武十三年)二月，卢芳自知自己的部将背叛、士兵离心，于是就丢弃辎重，与十余名骑兵逃入匈奴地区，卢芳的部众全都属随昱所有，随昱于是到洛阳投降。光武帝下诏，任命随昱为五原太守，封为镌胡侯，随昱的弟弟随宪被封为武进侯。

归顺反叛

公元40年(建武十六年)，卢芳从匈奴地区又返回内地，居住在高柳。十月，卢芳与闵堪的哥哥闵林派使者前往东汉请降。十二月甲辰日，光武帝封卢芳为代王，闵堪为代国国相，闵林为代国太傅，赏赐缯帛二万匹，让他为朝廷安抚匈奴，建立和睦的关系。卢芳上书谢恩，并说自己思念想往朝廷。刘秀下诏回答卢芳，让他明年正月来朝见。同年冬天，卢芳起身上路入朝，向南行进到达昌平县。光武帝下诏命他停止入朝，改为明年朝见。

公元42年(建武十八年)五月，卢芳从昌平返回后，内心疑虑恐惧，于是再度反叛东汉，与闵堪、闵林互相攻击，连战数月。匈奴派数百名骑兵迎接卢芳及其妻子儿女到塞外，卢芳留在匈奴，居住十余年后，因病去世。