公元196年(建安元年)，袁术攻打刘备，争夺徐州。刘备派张飞守下邳，自己则将兵在盱眙、淮阴抵抗袁术，双方僵持了月余，互有胜负。

下邳相曹豹是陶谦的旧部，与张飞不和，曹豹坚守营寨，又派人去找吕布来救。时袁术给吕布写信，劝其乘机袭下邳，答应事成后，援助吕布粮草。

吕布很高兴，率军而至。刘备中郎将许耽开门投降，张飞败走。

吕布俘刘备妻小和诸将家属。由于形势所迫，刘备、张飞只好暂时依附吕布，驻军小沛。吕布还刘备妻小。

刘备驻小沛，发展较快，不久便聚众万余人，吕布不安，又率来攻，刘备只得携张飞等投奔曹操，并与曹操联合。

公元197年(建安二年)六月，张飞从曹操进攻吕布，吕布败亡后，张飞被任命为中郎将。

公元200年(建安五年)，刘备衣带召事情泄漏，率领关羽、张飞逃走，杀下邳太守车胄，让关羽据守下邳，自己与张飞屯小沛。

曹操派刘岱、王忠前来攻打，被张飞关羽击退。后曹操亲自出马，刘备战败，关羽被擒，刘备与张飞逃奔袁绍。

公元201年(建安六年)，张飞与刘备在汝南联结刘辟、龚都等人扰乱曹操后方，许都以难纷纷响应，曹操派蔡阳前来攻打，但被刘备所杀，后刘备被曹仁击败，张飞随刘备投奔荆州刘表，驻扎新野。