未几，孙权又复称藩。张辽奉命还屯雍丘，却在此得病。曹丕遣侍中刘晔带著太医审视其疾，并令虎贲问其消息，道路上往来相继不绝。张辽之疾久未痊愈，曹丕命人迎接张辽就行在所，自己则车驾亲临，执张辽之手，赐以御衣，又使太官每日送给御食。待张辽之疾稍可，辽即回还屯之处。

正当其时，孙权复叛，曹丕遣张辽乘舟，与曹休到海陵临江驻防。孙权知张辽至此，甚为忌惮，敕令诸将道：「张辽虽然抱病，但仍是勇不可当的，千万要谨慎在意!」同年，张辽与诸将同破吴将吕范。

不久张辽病笃，竟逝於江都，一代名将就此陨落。曹丕为之流涕，諡曰刚侯。其子张虎嗣任其爵。

 黄初六年，曹丕追念张辽、李典在合肥之功，诏曰：「合肥一役中，张辽、李典仅以步卒八百人，破贼十万之众，自古用兵，未见如此。他们使贼众至今仍气为之所夺，真可谓国之爪牙。现分封辽、典邑各百户，赐一子爵关内侯。」张虎官至偏将军，死后儿子张统嗣任。所以说张辽不是丁奉杀死的，而是自己病死的。