至5月中旬，中国前线各军终因伤亡惨重、后援不继而先后节节抵抗后撤。5月31日，《塘沽协定》签订，长城抗战宣告失败。消息传来，人人痛心不已。之后，第2师退驻北平。同年秋，郑洞国入南京中央军校高等教育班受训。次年春，他奉命提前结业，返回军中，率部和第25师75旅一起，开赴江西参加对中央苏区的第五次“围剿”，担任守备第二线碉堡的任务。

10月，红军失利后主力向湘贵方面战略转移，开始长征。第4旅和第75旅尾追至芷江，又奉令调回北平驻防。1935年6月，国民政府与日本签订了丧权辱国的《何梅协定》。郑洞国所在的部队，全部忍痛撤出了北平。第2师奉命开赴徐州、蚌埠一带驻防。次年秋，原第2师师长黄杰调任税警总团团长，郑洞国接任了师长职务。

12月12日，张学良、杨虎城两将军为谋求“停止内战，团结抗日”，在西安发动兵谏，扣留了蒋介石。何应钦下令各路中央军前往“讨伐”，郑洞国率第2师进驻潼关。未几，西安事变和平解决，第2师撤回徐州。

1936年10月22日 郑洞国晋升陆军少将。

“七七”事变后，抗战爆发，他又首先率第2师参加了平汉路保定会战。固守保定城至漕河一线阵地，多次予敌以重创。后军长关麟征阵地被突破撤退，郑的后方为敌骑兵包围，仍与日军血战一昼夜。保定城破后，又与敌展开巷战，幸而这时裴昌会将军率第47师冒死前来接应，才得以率军杀出重围。保定失守后，日军又连陷正定、石家庄等重镇，一直深入到豫东地区。

在豫北安阳吃紧时，第2师曾奉命转移到林县一带山区进行游击作战，牵制日军南下。其间，郑洞国曾派突击队乔装日军，袭击了日军在安阳的机场，给敌人造成很大恐慌，其斗志之顽强可见一斑。不久第2师又作为第一战区预备队参加漳河战役，战役失利后奉命退往舞阳休整。

1938年3月，郑洞国率第2师参加徐州会战，当郑洞国率部昼夜兼程地从河南赶到徐州时，战局发生突变：日军精锐的第10师团已攻陷滕县，川军第122师王铭章师长以下两千余人全部阵亡，敌前锋部队正由滕县以东向枣庄快速南下。郑洞国考虑我军已来不及实施在运河以北临城一线迎敌的作战计划，即使先敌一步到达运河北岸，也将因立足不稳为敌击破，这样连徐州都会陷入险境。

为此，郑洞国根据参谋长舒适存的建议，并报请上级同意，一面果断地指挥部队火速开往运河南岸占领阵地，掩护友军集中，以确保徐州。这时大批日军已进抵运河北岸，正积极准备渡河南犯。郑洞国率师主力就在这千钧一发之际赶到了运河南岸的利国驿立即与敌人隔河交战。但日军凭借强大炮火，攻势如潮。

危急间，配属该师作战的重榴弹炮营及时赶到，郑洞国立即命令放列射击，十二门大炮齐声怒吼，一排排炮弹准确地落在敌人头上，打得日本鬼子狼狈逃窜、死伤枕籍，不得不放弃渡河打算，沿枣台支线转攻台儿庄。此战大大缓解了危殆的战局，为我军变更部署，调动兵力赢得了宝贵时间。