时京师多盗贼，有通衢杀人置沟中者，李辅国方恣横，上请选羽林骑士五百人以备巡检。揆上疏曰：“昔西汉以南北军相摄，故周勃因南军入北军，遂安刘氏。皇朝置南北衙，文武区分，以相伺察。今以羽林代金吾警夜，忽有非常之变，将何以制之?”遂制罢羽林之请。

揆在相位，决事献替，虽甚博辨，性锐于名利，深为物议所非。又其兄皆自有时名，滞于冗官，竟不引进。同列吕諲，地望虽悬，政事在揆之右，罢相，自宾客为荆南节度，声问甚美。惧其重入，遂密令直省至諲管内抅求諲过失。諲密疏自陈，乃贬揆莱州长史同正员，其制旨曰：“扇湖南之八州，沮江陵之节制。”揆既黜官，数日，其兄皆改授为司门员外郎。后累年，揆量移歙州刺史。

初，揆秉政，侍中苗晋卿累荐元载为重官。揆自恃门望，以载地寒，意甚轻易，不纳，而谓晋卿曰：“龙章凤姿之士不见用，麞头鼠目之子乃求官。”载衔恨颇深。及载登相位，因揆当徙职，遂奏为试秘书监，江淮养疾。既无禄俸，家复贫乏，孀孤百口，丐食取给。萍寄诸州，凡十五六年，其牧守稍薄，则又移居，故其迁徙者，盖十余州焉。

元载以罪诛，除揆睦州刺史，入拜国子祭酒、礼部尚书，为卢杞所恶。德宗在山南，令李揆充入蕃会盟使，加左仆射。平息武都番邦叛乱立功，安置家眷居住武都郡旧城里，后李揆受朝廷调动，行至凤州，以疾卒，兴元元年四月也，年七十四。赠司空，丧事官给。其母被诰封为九天圣母，葬于甘肃武都白龙江南岸、万象洞西大坪山。此处有李揆衣冠冢，李揆祠堂。