而此时张邈、陈宫叛迎吕布，攻打曹操，曹操根据地失陷，于是回兵兖州。陶谦表刘备为豫州刺史，叫他驻军在小沛。

兴平二年(195年)，陶谦病重，对别驾麋竺说：“非刘备不能使徐州安定。”陶谦死后，麋竺率徐州人民迎接刘备做太守，刘备不敢接受。

在陈登、孔融的再三劝说下，刘备遂领徐州。

建安元年(196年)，曹操表刘备为镇东将军，封宜城亭侯。袁术率大军进攻徐州，刘备迎击，两军在盱眙、淮阴相持。

这时，吕布偷袭了下邳，俘虏了刘备的妻子。刘备回军，中途军队溃散，乃收余军东取广陵，为袁术所败，转军海西，困顿至极，得从事东海麋竺以家财助军。

于是向吕布求和，吕布将刘备的妻子归还给他，刘备回到小沛。

不久，刘备再度召募了万余人的军队，吕布于是率军进攻小沛。

刘备战败，前往许都投奔曹操。曹操给与刘备兵马粮草，让刘备做豫州牧。其后，人称刘备为“刘豫州”。

建安三年(198年)，吕布派高顺和张辽进攻刘备，曹操虽派夏侯惇援救，但被击败。

沛城最终被攻破，刘备妻子再次被掳，刘备单身逃走。

刘备在梁国国界中与曹操相遇，于是与曹操联合进攻吕布，吕布投降后，刘备力劝曹操杀死吕布。

其后刘备与曹操回到许都，被封为左将军。

建安四年(199年)，车骑将军董承受汉献帝衣带诏，刘备起初未敢加入。

后曹操与刘备“煮酒论英雄”，曹操对刘备说：“今天下英雄，就是你跟我。”

刘备心惊，筷子掉落，知道曹操难容自己，遂与董承等人同谋。