不久，谢灵运再辞官归始宁，与朋友往来吟咏，或率领数百随从出入于深山幽谷，探奇觅胜。

谢灵运酷爱登山，而且喜欢攀登幽静险峻的山峰，高达数十丈的岩峰他也敢上，可以说是古代第一位攀岩运动的先行者。

他登山时常穿一双木制的钉鞋，上山取掉前掌的齿钉，下山取掉后掌的齿钉，于是，上山下山分外省力稳当，这就是著名的“谢公屐”。

李白在梦游天姥吟留别中曾有这样的诗句：“谢公宿处今尚在，渌水荡漾清猿啼。脚著谢公屐，身登青云梯。”可见其影响之广大。

刘宋文帝元嘉八年(431年)，宋文帝又让他出任临川内史，但他还是不理政事，终日出游，被地方官员纠弹，要治他的罪。

谢灵运不服，反把有关吏员扣押起来。他还赋诗一首：“韩亡子房奋，秦帝鲁连耻。本自江海人，忠义感君子。”

将刘宋王朝比作暴秦政权，并以张良、鲁仲连自比，暗示要像他们那样为被灭亡的故国复仇雪耻。

这种行为和言论，加重了他的罪名，被判免死流放广州。

可是刚到广州，朝廷的公文又到了，诬他又犯下了新的叛逆罪，命令将他就地正法。

元嘉十年(433年)10月谢灵运在广州被处弃市刑(当街斩首)，死时仅四十九岁。

一代文豪犹如一颗流星，在历史的天空划过一道短暂而耀眼的光芒，倏然而逝。

谢灵运具有多方面的才能，文学上的主要成就在于山水诗，由其始，山水诗乃成中国文学史上的一大流派。

除诗文创作外，他还兼通史学，精通佛教老庄哲学，工于书法、绘画。宋文帝刘义隆曾称赏他的诗和字为“二宝”。

他跟庐山东林寺的名僧慧远也有深交，尽管慧远比他大五十来岁，两人还是很投缘。

慧远圆寂后，他特地写了一篇祭吊的名文《庐山慧远法师诔》，一时洛阳纸贵。

在《滕王阁序》中“邺水朱华，光照临川之笔。”这里的“临川”指的就是谢灵运。