永初元年(420年)，刘裕代东晋自立，创刘宋，是为宋武帝，谢灵运爵位由康乐公降为康乐县侯，食邑五百户，任太子左卫率。

永初三年(422年)，刘裕死，宋少帝继位，谢灵运被权臣排挤出京，任永嘉郡太守，在职一年，即称病返乡隐居。

元嘉元年(424年)，宋文帝刘义隆即位，任命他为秘书监，始不肯就任，经光禄大夫范泰的催促，于元嘉八年(431年)就职。

元嘉三年(426年)。文帝诛权臣徐羡之等，召谢灵运回朝，谢灵运因不受重用，心有不平，多称疾不上朝而肆意遨游。

借文帝讽旨令其自解之机，请病假东归，二次隐居故乡。因日夜游宴，谢灵运于元嘉五年(428年)被免职。

元嘉八年(431年)，因决湖造田之事，谢灵运被会稽太守孟顗告发[6] ，他上书申辩。

文帝知其被诬，未予追究，任其为临川内史。但他依然荒废政事，遨游山水。

司徒刘义康遣使收录，谢灵运兴兵拒捕，犯下死罪。文帝爱其才，降死一等，流放广州。

元嘉十年(433年)，谢灵运因罪徙广州，密谋使人劫救自己，事发，被文帝以“叛逆”罪名杀害，终年四十九岁。

谢灵运颇信佛教、道教，生得一副美须，死前布施，捐出自己的胡须，装饰南海祗洹寺的维摩诘菩萨佛像。

唐时，唐中宗之女安乐公主将维摩诘菩萨佛像之须，剪取一半，以备斗草之用。又恐他人所得，因剪弃其余。今遂绝[8