他用计大败辽兵于土磴寨。挫败了辽兵进犯。后两年，辽兵再次入侵，张齐贤率军于繁峙、崞县消灭了入侵辽兵，保卫了北部边境。淳化二年(991年)，张齐贤升任参知政事(副相)，数月后升为同中书门下平章事(宰相)。

张齐贤自991年拜相，到真宗大中祥符五年(1012年)致仕，其间共21年，除两次短期罢相、出任地方官外，皆在朝中掌握军国大政。他慨然以天下为己任，以致君于尧舜为目标，做出了很大贡献。咸平四年(1001年)，西夏李继迁攻陷北宋西北重镇清远。

张齐贤分析了当时形势指出：李继迁志不在小，而北宋“加讨则不足，防遏则有余”。上策是联络结好李继迁周围的少数民族部落，封其官爵，使之与西夏抗衡，牵扯李继迁的兵力。这样，李继迁自顾不暇，便不可能东出，北宋亦不必劳军远征。

可是，当朝文武大臣与真宗都主张立即消灭李继迁，贸然出兵，结果连连战败，灵武等重镇相继失陷。张齐贤在这种情况下，派出得力大臣出使西北，经略瓜州、沙州，联络西北少数民族，攻扰西夏后方，阻止了西夏继续东进，使北宋与西夏之间出现了短暂的和平局面。

真宗笃信道教。以王钦若为首的一班大臣伪造“天书”，自欺欺人。真宗则大搞祭天活动。几年间，东封泰山、西祀汾阴、南祭老子，花费达1000余万贯。同时，在京师及各地大修道观，塑造老子像，劳民伤财。张齐贤多次苦谏，真宗不听。在这种情况下，张齐贤对朝政感到灰心，多次要求归养。大中祥符五年(1012年)，真宗批准他致仕。两年后卒，终年72岁。朝廷赠官司徒，谥文定。