司马懿在荆州治理水军，打算沿著沔水进入长江讨伐东吴，曹叡下诏命令张郃统帅关中的部队接受司马懿的指挥。张郃到达荆州时，正赶上冬季水浅，大船不能行进，于是回师方城驻扎。太和三年，诸葛亮再次出祁山，对陈仓发动猛烈进攻。曹叡派驿马召张郃到京师，还亲自到河南县城，设置酒宴为张郃送行。曹叡派遣三万士兵以及武卫、虎贲两营的勇士护卫张郃，还问张郃：“等将军到了前线，诸葛亮会不会已经占领了陈仓？”张郃知道诸葛亮孤军深入，不会携带太多的粮草，不能久攻，就回答说：“估计臣还没到前线诸葛亮就已经撤走了。臣屈指计算，诸葛亮的粮草支撑不了十天。”张郃昼夜行军到达南郑，诸葛亮果然撤退了。曹叡诏令张郃回师京城，任命他为征西车骑将军。
张郃用兵机变无双，懂得战术变化，擅於安营布阵，根据地形布置战略战术，没有他预料不到的情况，从诸葛亮起的蜀国大将都非常忌惮他。张郃虽然是武将，却喜欢同儒士交往，曾经推荐同乡卑湛，说他通晓经学，品德高尚，曹叡下诏说：“从前祭遵当将军的时候，奏请设置五经大夫，即便在军营中，也和儒士进行唱诗、投壶的游戏。现在将军您统军在外，在内还注意维护朝廷的礼仪。朕非常赞赏将军的美意，准许提拔卑湛为博士。”
太和五年，诸葛亮第四次北伐，诏命张郃统领众将到略阳迎击，诸葛亮退守祁山，张郃追到木门谷，与蜀军交战，飞来的箭矢射中了张郃右膝，张郃阵亡，据《魏略》记载，是司马懿强行命令张郃追击。朝廷赐给他壮侯的谥号，他的儿子张雄继承了他的爵位。张郃征战多年，屡立战功，明帝分给他食邑，封他的四个儿子为列侯，赐给他的小儿子关内侯的爵位。
就张郃之死，或许是司马懿的阴谋，归军无追这个道理，司马懿不可能不知道，而他找借口逼张郃上道，只可能是他的篡位计划受到了张郃的威胁，为了控制全国，他已经把曹真解决掉了，剩下对他有威胁的只剩张郃了，除去张郃便成了司马懿实现吞魏而必须进行的一步，至于历史上是否真是这样我们不得而知，毕竟在司马氏的天下，陈寿不可能也不敢写出威胁司马氏统治的言论。
曹操对司马懿一直都防范，而曹丕却重用司马懿，甚至以之为托孤大臣，以司马懿帮助曹丕成功取下曹操的继承位，并成功登基建国，而张郃，作为边关将领，是不可能参与夺嫡斗争的，所以曹丕对张郃的信任，不足以把张郃列入托孤大臣的名单，也正是如此，张郃的头上永远有一个司马懿在压制着，从而导致最终的悲剧。
罗贯中由于“尊刘反曹贬孙”的思想，不仅抹杀了张郃的战绩和智谋，把他的英勇善战写得很少，而且只字不提他是一位为刘备和诸葛亮所深深惧惮的人物，甚至把他的死写为由于不听司马懿的劝告，自告奋勇追击，最后被诸葛亮设计射死。