李若谷在宜兴任职不久，便升任连州(今四川省锡连县境内)知州。上任前，受到皇帝的召见，改命为亳州通判，免去旅途劳顿之苦。之后，累迁陕州、渭州、延州、并州等知州，度支员外郎、三法司主管、户部判官、工部侍郎、京东转运使、江宁府尹、河南府尹，加太常寺少卿、集贤殿大学士、枢密院大学士、龙图阁大学士兼开封府知府，拜参知政事(以其它官职居宰相之位的官员称为参知政事)。

后以耳朵有病为由，多次上书辞职。不久，敕封为资政殿大学士、吏部侍郎，掌管会灵观之事。终以太子少傅致仕，卒年80岁，追赠为太子太傅，谥号“康靖”。