事后，郑洞国回忆说，如果当时自己没有灵活机动的处理情况，使日军冲过运河，不但徐州势将难保，而且在运河以北枣庄、峄县间的中国军队亦将陷入困境，这样整个战局将面目全非，也不会有后来的台儿庄之捷了。

当夜，第五战区长官部命令新由郑州、洛阳赴援的第2集团军及第20军团110师接替52军防务，沿运河南岸布防，扼守台儿庄正面阵地;第20军团主力52军、85军让开津浦路正面，向峄县东北之兰陵、向城一带集结、迂回，待敌孤军深入时即南下拊敌之背，会同第2集团军将其聚歼。

据此，52军连夜循运河南岸经台儿庄、兰陵镇开往向城秘密集结。以后，郑洞国指挥第2师参加了攻击枣庄、北大窑、峄县的激烈战斗。正当第20军团逼近台枣支线，拟合围进攻台儿庄之日军第10师团濑谷支队时，在临沂方面与中国军队作战的日军第5师团突以坂本支队4000余人绕道前往增援。第2师奉命随军团主力迎击，于4月6日将敌击溃于杨楼、底阁一线，随后乘胜与第2集团军会师，复将敌濑谷支队击溃，取得了震惊中外的台儿庄大捷。

台儿庄大捷后，中国军队追击退守峄县之敌，郑洞国率部以“精兵夜袭”的方式，一举攻占了峄县城外地形险要的制高点九山。军长关麟征异常高兴，亲自率人到九山阵地视察。后因日军不断增调援军至徐州战场，在前线的各中国军队相继撤至邳县以北沿运河一线拒敌，第2师担任燕子河、大刘庄一线防务，与敌反复鏖战20余日，阵地从未丢失，直至5月上旬才奉命撤出战斗，开往归德整补。

在邳县以北地区防御作战期间，为便利后方交通，郑洞国曾命工兵连在碾庄圩以东的运河上铺设了一道浮桥。未曾想，徐州失陷前，在运河东北地区作战的中国军队主力十余个师，竟均赖此桥撤出了战场。撤出战场后，为躲避敌机轰炸，郑洞国率第2师昼息夜行，徒步行至归德。

时薛岳正率大军在归德以东地区与敌大战，临时调郑部作预备队。不久战役失利，第2师撤往河南漯河，数日后又奉命经南阳、湖北安陆、随县开往武汉行军途中，原第52军军长关麟征将军升任第32军团长，他报请军令部让第25师师长张耀明将军升任该军军长，以郑洞国任副军长，气愤之下，遂坚辞不受，并向军令部请假离开部队，回到长沙。

自次离开了自北伐以来就在其中服役长达十年的第2师，1938年第一次南岳军事会议结束后，被汤恩伯委任为31集团军第98军军长。在任不到一月，就受好友杜聿明之邀请降格出任新编第11军荣誉第1师师长。不久军长徐庭瑶升任集团军总司令，杜升任军长，改番号为第五军，郑调升副军长兼荣誉第1师师长。

部队先驻广西全州，后调湖南零陵一带整训。荣誉第1师是由抗战中伤愈官兵组成的部队，作战有经验，军事素质较好，但当时内部人事关系复杂，纪律松弛，很难统驭。

郑洞国到任后，知人善任，赏罚分明，对部队一再严明纪律，加强训练，如某团长嗜赌成性，恶习难改，经再三劝导无改，郑毅然报请上级将其免职，于是全师肃然。经过近一年的努力，荣誉第1师的面貌焕然一新，战斗力大为加强，成为一支抗日劲旅。

1939年11月初，日军为切断我桂越国际交通线，威胁中国后方，出动一个半师团兵力由北部湾海面登陆，在很短时间内连陷钦州、防城、南宁等重镇，其号称“钢军”的第五师团第12旅团占领了南宁西北重要屏障昆仑关天险，桂南战局极为危殆。12月中旬，第5军(辖荣誉第1师、200师、新22师)奉命调赴桂南，很快包围了昆仑关之敌，并于18日晨发动猛攻。