固辞不拜，改授侍中、中卫将军，领太子詹事。七年，拜车骑将军，太子詹事如故。八年，以本号开府仪同三司、丹阳尹，侍中如故。时天下无事，高祖方信仗文雅，茂心颇怏怏，侍宴醉后，每见言色，高祖常宥而不之责也。十一年，进位司空，侍中、尹如故。茂辞京尹，改领中权将军。

茂性宽厚，居官虽无誉，亦为吏民所安。居处方正，在一室衣冠俨然，虽仆妾莫见其惰容。姿表瑰丽，须眉如画。出入朝会，每为众所瞻望。明年，出为使持节、散骑常侍、骠骑将军、开府仪同三司、都督江州诸军事、江州刺史。视事三年，薨于州，时年六十。高祖甚悼惜之，赙钱三十万，布三百匹。

诏曰：“旌德纪勋，哲王令轨;念终追远，前典明诰。故使持节、散骑常侍、骠骑将军、开府仪同三司、江州刺史茂，识度淹广，器宇凝正。爰初草昧，尽诚宣力，绸缪休戚，契阔屯夷。方赖谋猷，永隆朝寄;奄至薨殒，朕用恸于厥心。宜增礼数，式昭盛烈。可赠侍中、太尉，加班剑二十人，鼓吹一部。谥曰忠烈。”

初，茂以元勋，高祖赐以钟磬之乐。茂在江州，梦钟磬在格，无故自堕，心恶之。及觉，命奏乐。既成列，钟磬在格，果无故编皆绝，堕地。茂谓长史江诠曰：“此乐，天子所以惠劳臣也。乐既极矣，能无忧乎!”俄而病，少日卒。