到了北海郡不久，郑玄又辞去吏职，入太学授业。他的老师名叫第五元先(第五是复性)，是当时京兆平陵(今陕西长安)的大姓，曾任兖州刺史，是一位很有学问的经学博士。郑玄从师第五元先，先后学了《京氏易》、《公羊传》、《三统历》、《九章算术》等，俱达到了通晓的程度。

其中《京氏易》是西汉京房写的，《公羊传》是战国公羊高传述、西汉初成书的，这两部书都是今文经学的重要典籍。《三统历》是西汉刘歆写的历法，《九章算术》则传说是西周周公姬旦所著，这两部书都属历数之学的重要著述。

此后10年左右，皆为郑玄折节求学的时代。他师事第五元先后，又从东郡张恭祖学习了《周官》、《礼记》、《左氏春秋》、《韩诗》、《古文尚书》等书，其中除《礼记》和《韩诗》外，均为古文经学的重要典籍。

郑玄向第五元先和张恭祖学习了今古文经学两大学派的重要经籍后，尚不以此为满足，又从陈球受业，学习了《律令》。在此期间，他还以明经学、表节操为目的，游学于幽、并、兖、豫各地(相当于今山东、河北、河南、山西一带)，遍访名儒，转益多师，虚心向他们学习，共同探讨学术问题。

读万卷书，行万里路，不辞劳苦，孜孜求道，郑玄的青年时代，就是这样匆忙而充实地过去了。到了而立之年后，郑玄已经成了一名有着较深造诣的经学家。他的学问在山东(指的崤山以东，今天的冀鲁豫一带)已经可以说首屈一指、无出其右者了。