时陆炳掌锦衣，与鸾争宠，嵩乃结炳共图鸾。会鸾病死，炳讦鸾阴事，帝追戮之。于是益信任嵩，遣所乘龙舟过海子召嵩，载直西内如故。世蕃寻迁工部左侍郎。倭寇江南，用赵文华督察军情，大纳贿赂以遣嵩，致寇乱益甚。及胡宗宪诱降汪直、徐海，文华乃言：「臣与宗宪策，臣师嵩所授也。」遂命嵩兼支尚书俸无谢，自是褒赐皆不谢。

帝尝以嵩直庐隘，撤小殿材为营室，植花木其中，朝夕赐御膳、法酒。嵩年八十，听以肩舆入禁苑。帝自十八年葬章圣太后后，即不视朝，自二十年宫婢之变，即移居西苑万寿宫，不入大内，大臣希得谒见，惟嵩独承顾问，御札一日或数下，虽同列不获闻，以故嵩得逞志。

然帝虽甚亲礼嵩，亦不尽信其言，间一取独断，或故示异同，欲以杀离其势。嵩父子独得帝窾要，欲有所救解，嵩必顺帝意痛诋之，而婉曲解释以中帝所不忍。即欲排陷者，必先称其位，而以微言中之，或触帝所耻与讳。以是移帝喜怒，往往不失。士大夫辐辏附嵩，时称文选郎中万寀、职方郎中方祥等为嵩文武管家。尚书吴鹏、欧阳必进、高燿、许论辈，皆惴惴事嵩。

嵩握权久，遍引私人居要地。帝亦浸厌之，而渐亲徐阶。会阶所厚吴时来、张翀、董传策各疏论嵩，嵩因密请究主使者，下诏狱，穷治无所引。帝乃不问，而慰留嵩，然心不能无动，阶因得间倾嵩。吏部尚书缺，嵩力援欧阳必进为之，甫三月即斥去。赵文华忤旨获谴，嵩亦不能救。

有诏二王就婚邸第，嵩力请留内。帝不悦，嵩亦不能力持。嵩虽警敏，能先意揣帝指，然帝所下手诏，语多不可晓，惟世蕃一览了然，答语无不中。及嵩妻欧阳氏死，世蕃当护丧归，嵩请留侍京邸。帝许之，然自是不得入直所代嵩票拟，而日纵淫乐于家。嵩受诏多不能答，遣使持问世蕃。值其方耽女乐，不以时答。

中使相继促嵩，嵩不得已自为之，往往失旨。所进青词，又多假手他人不能工，经此积失帝欢。会万寿宫火，嵩请暂徙南城离宫，南城，英宗为太上皇时所居也，帝不悦。而徐阶营万寿营甚称旨，帝益亲阶，顾问多不及嵩，即及嵩，祠祀而已。嵩惧，置酒要阶，使家人罗拜，举觞属曰：「嵩旦夕且死，此曹惟公乳哺之。」阶谢不敢。

严嵩创作的百寿图未几，帝入方士蓝道行言，有意去嵩。御史邹应龙避雨内侍家，知其事，抗疏极论嵩父子不法，曰：「臣言不实，乞斩臣首以谢嵩、世蕃。」帝降旨慰嵩，而以嵩溺爱世蕃，负眷倚，令致仕，驰驿归，有司岁给米百石，下世蕃于理。嵩为世蕃请罪，且求解，帝不听。

法司奏论世蕃及其子锦衣鹄、鸿，客罗龙文，戍边远。诏从之，特宥鸿为民，使侍嵩，而锢其奴严年于狱，擢应龙通政司参议。时四十一年五月也。龙文官中书，交关为奸利，而年最黠恶，士大夫竞称萼山先生者也。

嵩既去，帝追念其赞玄功，意忽忽不乐，谕阶欲遂传位，退居西内，专祈长生。阶极陈河，帝曰：「卿等不欲，必皆奉君命，同辅玄修乃可。严嵩既退，其子世蕃已伏法，敢更言者，并应龙俱斩。」嵩知帝念己，乃赂帝左右，发道行阴事，系刑部，俾引阶。

道行不承，坐论死，得释。嵩初归至南昌，值万寿节，使道士蓝田玉建醮铁柱宫。田玉善召鹤，嵩因取其符箓，并己祈鹤文上之，帝优诏褒答。嵩因言：「臣年八十有四，惟一子世蕃及孙鹄皆远戍，乞移便地就养，终臣余年。」不许。

其明年，南京御史林润奏：「江洋巨盗多入逃军罗龙文、严世蕃家。龙文居深山，乘轩衣蟒，有负险不臣之志。世蕃得罪后，与龙文日诽谤时政。其治第役众四千，道路皆言两人通倭，变且不测。」诏下润逮捕，下法司论斩，皆伏诛，黜嵩及诸孙皆为民。嵩窃政二十年，溺信恶子，流毒天下，人咸指目为奸臣。其坐世蕃大逆，则徐阶意也。又二年，嵩老病，寄食墓舍以死。