代宗即位，起为忠州刺史，历台、饶二州。以中官吕太一于岭南矫诏募兵为乱，乃以伦为韶州刺史、兼御史中丞、韶连柳三州都团练使。竟遭太一用赂反间，贬信州司马、虔州司户、隋州司户、随州司马。遇赦，旅寓于洪州十数年。德宗即位，选堪使绝域者，征伦拜太常少卿、兼御史中丞，持节充通和吐蕃使。伦至蕃中，初宣谕皇恩，次述国威德远振，蕃人大悦，赞普入献方物。使还，迁太常卿、兼御史大夫，加银青光禄大夫。

再入吐蕃，奉使称旨，西蕃敬服。朝廷得失，数上疏言之。又为宰相卢杞所恶，改太子少保，累加开府仪同三司。泾师之乱，驾幸奉天。及卢杞、白志贞、赵赞等贬官，关播罢相为刑部尚书，伦于朝堂呜咽而言曰：“宰相不能弼谐启沃，使天下一至于此。仍为尚书，天下何由致理?”闻者敬惮之。从驾梁州，还京，又欲擢用卢杞为饶州刺史。

伦又上表切言不可，深为忠正之士所称叹。以年逾七十，表请休官，改太子少师致仕，封郢国公。时李楚琳以仆射兼卫尉卿，李忠诚以尚书兼少府监，伦上言曰：“楚琳凶逆，忠诚蕃戎丑类，不合厕列清班。”又表请置义仓以防水旱，择贤良任之左右。又言吐蕃必无信约，专须防备，不可轻易。上每善遇之。

伦居家孝友，抚弟侄以慈爱称。贞元十四年十二月卒，时年八十三，赠扬州都督。