不幸的是，不久秦被项羽所灭，楚汉之争在长城以内爆发，谁也没时间去管远在塞北的匈奴，也正是在这段时间，匈奴更加强大起来。刘邦取得中原天下之后，决意与匈奴一战，但这一战，汉王朝却以失败告终，大汉不得不用和亲的手段来维持与匈奴之间和平相处的关系。汉武帝即位以来，汉王朝国力逐渐强大，他才决定改变长期以来的和亲政策，反之实施长久的打击。

卫青、霍去病连连收复“失地”，并逐渐将匈奴赶往离大汉更远的沙漠深处。可以说汉武帝对匈奴的猛烈反击，大伤了匈奴的元气。到西汉晚期，匈奴最终在内忧外患中发生了分裂，呼韩邪单于率部归顺汉朝，而流窜到中亚与汉朝为敌的郅支单于也被汉将陈汤以“明犯强汉者，虽远必诛”为理由消灭掉了，汉匈关系从此走向和解。

东汉初年，在匈奴贵族中反汉的势力重新抬头，导致匈奴再次分裂，南匈奴归顺汉朝，而北匈奴则坚持与汉为敌，经常发动对南匈奴和汉人的掠夺。而当时东汉刚刚建立，国力还属于恢复期，因此，直到汉明帝时，才发动了对北匈奴的反击战。91年，汉军再次出击北匈奴，在金山(今阿尔泰山)大败北单于，北单于只得向西逃窜。

至此，东汉对北匈奴的战争取得了全面胜利，而与汉为敌的北匈奴，则受到汉与南匈奴的合击，已无法在漠北蒙古高原立足，只得退出蒙古高原向西逃窜。归汉内迁的南匈奴部落与汉民族之间不断融合，不断繁衍生息。到了西晋末年八王之乱时期，南匈奴部落在领袖刘渊的带领下，与北方汉族的豪强势力联手推翻了西晋政权，建立了后汉国。