汉献帝定都许县后，以程昱为尚书。其时兖州尚未绥抚停当，于是又以程昱为东中郎将，领济阴太守，都督兖州事。

建安三年(198年)，刘备失去徐州，前来归附曹操。程昱劝曹操杀刘备，曹操不听。

建安四年(199年)，曹操派遣刘备至徐州截击袁术，程昱与郭嘉向曹操道：“明公前日不除掉刘备，如今更向他借兵，他必定会有异心的。”曹操后悔，但已追之不及。

果然，袁术病死后，刘备去到徐州，杀车胄，举兵背反曹操。

建安五年(200年)，程昱迁为振威将军。当时袁绍在黎阳将移兵南渡，而程昱却只有七百兵守着鄄城，曹操知道危急，命人告诉程昱，欲加二千兵前往鄄城助守。

程昱不肯接受，说道：“袁绍拥兵十万之众，自以为所向无前。他若见我领兵少，必不敢轻易来攻。但如果增加了我的士兵，过多则不可不攻，要攻之必克，只会两损其势。愿公不要怀疑!”曹操从之。袁绍闻程昱兵少，果然不敢进兵。曹操闻其事，向贾诩道：“程昱的胆略，超过孟贲、夏育啊。”

建安八年(203年)，程昱纠合一伙山间民众及亡命之徒，得精兵数千人，于是引军与曹操会师黎阳，讨伐袁谭、袁尚。曹操使李典与程昱等以船运军粮。

会和魏郡太守高蕃将兵屯河上，断绝水道，曹操对李典、程昱说：“若船不得过，下从陆道。”李典与诸将议曰：“蕃军少甲而恃水，有懈怠之心，击之必克。”程昱亦以为然。

遂北渡河破高蕃，水道得通。二袁破走后，程昱拜为奋武将军，封安国亭侯。

建安十三年(208年)，曹操南征荆州，刘琮投降，刘备奔江吴求助。

有人认为孙权必杀刘备，程昱却料道：“孙权新任在位，尚未为海内所忌惮。而曹公无敌于天下，初举荆州，威震江表，孙权虽然有谋，亦不能独自抵挡。刘备则向有英名，关羽、张飞皆是万人之敌，孙权必定援助他们以防御我军。之后分道扬镳，刘备已得到实际资助，那孙权又不能得之而杀了。”孙权果然补给军兵与刘备，以抵御曹操。

攻取荆州后，中原之地大致平定，曹军势力逐渐扩充。

一次，曹操抚着程昱之背说道：“当初兖州之败，若非听从你的计谋，我又怎可以来到这里呢?”

程昱答道：“所谓‘知足不辱’(出自《道德经》第四十四章，指一个人只要懂得知足，就不会因为过份的贪婪而得到屈辱的收场)，如今是我急流涌退的时候了。”于是正式表示从此缴还兵权，阖门不出。