963年(乾德元年)，加兵部侍郎。太祖将要亲自征伐太原，大量发动百姓运送粮草。当时河南府闹饥荒，逃亡者四万家，太祖为此感到忧虑，命居正乘驿马招集百姓，十天后百姓都恢复生业。朝廷命居正以本官参知政事。967年(乾德五年)，加吏部侍郎。972年(开宝五年)，兼淮南、湖南、岭南等道提举三司水陆发运使事，兼判门下侍郎事，监修国史及五代史。

973年(开宝六年)，拜门下侍郎、平章事。同年，薛居正等修《五代史》(《旧五代史》)成。一年后，太祖赐给他器币。975年(开宝八年)，二月，太祖鉴于天下已定，对居正等人说：“年岁丰登，万物丰盛，如果不是上天保佑，哪里能这样。应当共思济物，如果政事有失，应当予以拯救，来实现我的志向。”居正等愈发勤修政事，来符合太祖的意愿

976年(开宝九年)，晋王赵光义即位，薛居正加左仆射、昭文馆大学士。981年(太平兴国六年)六月，随从太宗平定晋阳回来后，进官位为司空。由于服丹砂中毒，正在上奏政事时，发觉毒发，于是出了殿堂。到殿门外，喝了一升多水，堂吏把他扶到中书省，已经不能说话，只是指着廊庑间的储水器。身边的人把水取来，不能喝，吐气像烟雾，用车载回家里，随即便去世，享年七十。追赠太尉、中书令，谥号文惠。

薛居正气质容貌伟岸，喝酒喝到几斗还能不醉。秉性孝顺行为善良，居家生活节俭。任宰相时处事宽厚，不喜欢苛察，士大夫对此很为赞许。从参政到任宰相，共十八年，太祖对他的恩宠始终不减。先前，太祖曾经对居正说：“自古帝王很少能够正己，臣子大多没有远略，虽然身居显位，不能垂名后世，而身陷不义之名，子孙遭殃，因为君臣没能尽行其道啊。我看唐太宗接受大臣谏议，直接指出他的过错而不以为耻。

在我看来，不如自己不做错事，使别人没有指责。又观古代的大臣很多不能慎终如始，能够得以保全而且享受厚福的人，是由于忠正啊。”开宝年间，薛居正与沈伦一起任宰相，卢多逊任参知政事。开宝九年(976年)冬天，卢多逊也任平章事。

到居正死后，沈伦被贬官，卢多逊流放南方，议论的人说薛居正坚守臣道受福，果然符合太祖之言。999年(咸平二年)，薛居正得以配飨太宗庙庭。1226年(宝庆二年)，宋理宗赵昀图二十四功臣神像于昭勋阁，薛居正位列其中。