郭图非常羞愧，他进一步诬陷张郃说：“张郃为我军的失败而感到高兴，说话非常难听。”张郃非常害怕，就带兵投奔了太祖。

太祖得到张郃非常高兴，对他说：“从前伍子胥不早觉悟，使自己陷入绝境，哪里比得上微子抛弃殷纣、韩信离楚归汉呢?”

太祖任命张郃为偏将军，封为都亭侯，交给他部队，让他跟随自己攻打邺城，占领了邺城。

随同太祖征讨柳城的时候，张郃和张辽担任先锋，张郃因为屡立战功升任平狄将军。

张郃还领兵征讨东莱郡，讨伐管承，还和张辽等人一起讨伐陈兰、梅成等人，大获全胜。张郃跟随太祖到渭南击溃了马超、韩遂，包围了安定城，使杨秋投降。

张郃、夏侯渊一起征讨盘踞在鄜城的贼寇梁兴和武都一代的氐族叛军，再次击败了马超的部队，平定了宁建统治的地区。

太祖率军征伐张鲁，先派张郃统帅大军讨伐梁兴和氐族首领窦茂所部。不久，太祖从散关进入汉中，又先派张郃带领五千步兵作为前锋开路。大军刚到阳平关，张鲁就献城投降了。

太祖率军回师许昌，留下张郃与夏侯渊等人防守汉中，抵挡刘备的进攻。张郃率军主动出击，迫使巴东、巴西两郡投降，他将两郡的百姓迁徙到汉中郡。

接着，张郃又进军宕渠城，结果被刘备的大将张飞所阻挡，被迫退回南郑。太祖任命张郃为荡寇将军。此时刘备驻扎在阳平关，张郃驻扎在广石。

刘备把一万多精兵分成十只部队，在夜里突然发动攻击。张郃率领着亲兵拼死奋战，刘备到底也没有攻下广石。

后来刘备在走马谷放火焚烧曹军营帐外围的障碍物，夏侯渊带军士前去救火，在岔道上遭遇了刘备的军队，两军短兵相接，夏侯渊被杀。

当时，曹军刚刚失去了元帅，害怕刘备乘机进攻，全军都惊慌不安，夏侯渊的行军司马郭淮便命令全军说：“张将军是国家的名将，屡立战功，刘备也忌惮他。现在形势紧迫，只有张将军才能安定军心。”众人推举张郃为军中主帅。

张郃出来，指挥部队排列阵势，众将都接受张郃的调度，军心这才安定下来。在长安的太祖知道了这件事，派使臣送给张郃节钺，让他指挥全军。

接着，太祖亲率大军来到汉中，刘备守住险要地形不敢出战，太祖便带着汉中各路军队返回。张郃率军驻扎陈仓。