至正二十八年(1368)三月，徐达在基本上占领山东之后，从济宁进攻汴梁(今河南开封)，同时派一部分军队经河南永城、归德(今河南商丘)趋许昌，并命邓愈率襄阳、安陆、江陵之兵北攻河南南阳，策应北征主力作战。三月底，徐达进抵陈桥(开封市东北)，元汴梁守将李克彝夜驱军民西遁，元将左君弼率所部投降。徐达进入汴梁后，立即率步骑经中湾(今河南封丘西南)西攻洛阳。

四月上旬，徐达军自虎牢关进至洛阳塔儿湾，元将托音率5万元军在洛水以北列阵，被常遇春强行突破，退至陕州(今河南陕县)。驻守洛阳的元梁王阿哩衮见大势已去，率官民出降。徐达继续挥兵略取嵩(今河南省嵩县)、陕、陈(今河南太康)、汝(今河南临汝)诸州，并命冯国胜率所部进攻潼关。

由汴梁退守潼关的元将李思齐和张思道，听说明军又逼近潼关，急忙率领部队西逃。明军向西连续攻克陇(今陕西陇县)、秦(今甘肃天水)、巩昌(今甘肃陇西)、兰州等地，进逼临洮，李思齐末路穷途，只好投降。徐达命薛显进攻西宁(今青海西宁)，亲率主力进攻庆阳。

五月初，连续攻下安定(今甘肃定西)、会州(今甘肃会宁)、靖宁(今甘肃靖宁)、隆德(今甘肃隆德)，经萧关前往平凉(今甘肃平凉)，一方面分兵进驻战略要地延安及泾州(今甘肃泾州)，另一方面派张涣率骑兵侦察庆阳的动静。张思道早在明军攻克临洮时，便留下弟弟张良臣与部将姚军守庆阳，自己则逃往宁夏，结果被库库擒获。

张涣派人招降张良臣，张良臣得知其兄被库库治罪，决定降明，但迅即又叛。徐达下令四面包围庆阳城，张良臣恃险顽抗，并向塞外的库库求救。库库为救庆阳，兵分三路牵制明军，一路攻大同欲下太原，一路攻风翔，一路攻泾州。七月中旬，库库部将哈南下攻原州(今甘肃镇原)，致使战局为之大变。

徐达见库库兵势甚猛，暂取守势，命徐礼守驿马关(今陕西庆阳西南)、叶石真守彭原(今陕西庆阳南)、韦正守郐州(今陕西邻县)、傅友德、薛显守灵州(今宁夏灵武)，控扼各处要害。不久，哈布攻下泾州，致使徐达大军腹背受敌，幸得冯国胜自驿马关引兵来救，才将哈札儿击退。八月上旬，张良臣在庆阳粮饷已尽，外援无望，其部将开城投降。数日后，库库派往大同和凤翔方面的军队，亦被明军击溃。

洪武元年七月二十七日(1368)，徐达攻克通州。八月二日，包围大都，然而大都无人守卫。元朝亡。