可就在这一年，他竟又惨遭人伦大变，经受了老年丧子之痛。他只有一个儿子，名叫益恩，23岁时被北海相孔融举为孝廉。 这一年春夏之间，袁绍之子袁谭率黄巾降兵攻北海，围孔融于都昌(今山东昌邑)，情势万分紧急。益忍受父命率家兵前去营救，结果反被围杀，时年仅27岁。益恩死后，生有遗腹子，郑玄因其手文与自己相似，取名叫小同。

献帝建安五年(200年)，郑玄已经74岁了，饱经沧桑，身体常觉不适。这年春天，他梦见孔子对他说：“起、起，今年岁在辰，来年岁在巴。”(《后汉书》本传)这一年是农历庚辰年，即龙年，而来年是辛巳年，也就是蛇年，旧说龙、蛇之年对圣贤不利。所以他醒来后很不高兴，认为自己当不久于人世了。

这一年，袁绍与曹操的大军在官渡(今河南中牟县东)会战。袁绍为壮声势，争取民心和士望，叫袁谭逼迫郑玄随军，郑玄无奈，只好抱病而行。走到元城(今河北大名县境)，病势加重，不能再走了，同年六月病逝于该县。

病重和临危之时，他还在注释《周易》。郑玄死时正处于大战乱之际，所以葬礼从简，但自郡守以下的官员和受业弟子也有一千多人缞绖(披麻戴孝)送葬。

最初葬于剧东(今山东益都境内)，后又归葬于高密县西北50里刘宗山下的厉阜。现在此地仍存有唐代墓碑和郑玄祠庙，距此不远，则是孔融当年给他立的“郑公乡”。

郑玄的学生们十分景仰这位老师，为了纪念恩师的教诲，他们像孔门弟子为纪念孔子而编辑《论语》一样，也把郑玄平时和弟子们问答五经的言论编辑为《郑志》，共有8篇。总括郑玄的一生，是为整理古代文化遗产而鞠躬尽瘁的一生，是献身学术与教育的一生，他身上集中了正派知识分子不慕权势、死守善道、忧民敬业等众多传统美德。