张郃率军进至宕渠，与张飞相拒五十余日，张飞率精兵万余人从小道进攻张郃，由于山道狭窄，首尾不能相救，张郃大败，仅带十余人弃马爬山逃跑，之后收拢败兵，撤回南郑。升迁荡寇将军。

建安二十三年(218年)，刘备进攻汉中，屯于阳平，夏侯渊、张郃、徐晃等率军迎击，张郃负责防守广石。

建安二十四年(219年)，刘备亲自率精兵万余人，分为十部，夜间猛攻张郃。张郃率亲兵与蜀军进行对抗，刘备不能攻克张郃，写信要求益州拨发援兵。

诸葛亮一时迟疑不缺，从事杨洪劝道：“汉中是益州门户，没有汉中就没有益州，还迟疑什么?”诸葛亮恍然大悟，立刻发兵增援。

其后，刘备退走马谷，放火烧营，夏侯渊知张郃兵少，调部分兵力来增援，并救火，途中遇上刘备军，被蜀军所杀。

曹军大败，张郃同败军一起退守阳平关东。而当刘备听闻夏侯渊被斩杀，只说：“要杀就杀张郃，杀夏侯渊有什么用!”

司马郭淮和督军杜袭收敛散卒，郭淮见状，便说：“张将军是国家的名将，刘备也忌惮他。现在形势紧迫，只有张将军才能安定军心。”于是众人推举张郃出任主帅，指挥士兵，布置营寨，军心安定。

不久，曹操遣使令张郃假节。刘备欲渡汉水来攻，见魏军在汉水以北列阵相迎，刘备于是放弃渡河，隔水相持。

曹操亲自进攻汉中，不能取胜，于是撤出汉中的部队，令张郃屯兵于陈仓。