杨暕猎获许多麋鹿进献给隋炀帝，而隋炀帝自己却未能获得猎物，于是向随从官员发怒。随从们都说是因为杨暕身边的人阻拦了道路，野兽不能前来。隋炀帝因此动怒，要人查寻杨暕的过失。

弹劾追查

当时规定县令无故不能出境，有个伊阙县令皇甫诩受杨暕宠爱，违背禁令将到汾阳宫。又有个长安人达奚通，他的小妾王氏善长唱歌，贵族交游并宴饮欢聚时，常常邀请她，她于是出入于齐王府。御史韦德裕按隋炀帝旨意弹劾杨暕，隋炀帝命令一千多带甲士兵，搜查杨暕的府第，以彻底追查他的事情。

私通之祸

杨暕的妃子韦氏，是民部尚书韦冲的 女儿，较早去世。杨暕于是跟韦妃的姐姐元氏妇(因嫁于元氏，故称元氏妇)私通，生下一个女儿，外人都不知道。杨暕暗中召引乔令则在府内设宴饮酒，乔令则庆 贺此事，就脱掉杨暕的帽子以助欢乐。

杨暕又招来看相的人让他遍视后庭，看相的人指着元氏妇说：“这个生孩子的妇人要做皇后，王爷您富贵不可言。”当时隋炀 帝未立太子，杨暕自己认为按照次序当立。又因为杨昭有三个儿子，杨暕心中常不安定，暗中行使邪道，做了很多厌胜之类的诅咒之事。

到这时，这些事情全部暴 露，隋炀帝大怒，杀了乔令则等数人，赐死元氏妇，杨暕的府僚都被放逐到边远地方。当时隋炀帝幼子赵王杨杲年龄还小，隋炀帝对侍臣说：“我只有杨暕这一个儿子，不是这样的话，应当让他死于市朝，来显明国家法令。”

终死不明

杨暕从此受的恩宠一天天减少，虽然是京城太守，却不再参与当时的政治。隋炀帝又常令武贲中郎将专人监视杨暕府的事情，杨暕有小过失，中郎将就奏到隋炀帝那里。

隋炀帝也常常担心杨暕发动政变，所给的随从，都是老弱之人，只算充数罢了。杨暕常常感到惧怕，内心不能安定。

义宁二年(618年)，宇文化及作乱，乱兵将要进犯宫内，隋炀帝听到后，回头对萧皇后说莫非是杨暕作乱，他被疏远猜忌竟到如此程度。

宇文化及缢杀隋炀帝后，又令人捕杀杨暕，杨暕当时还睡着 没有起来，乱兵已经进来了，杨暕吃惊地问是谁，来人没有回答，杨暕还认为是隋炀帝下令逮捕他，因而说传诏的使者且慢，我没有做对不起国家的事。乱兵于是把 他拉到街上杀了，他的两个儿子也一起遇害。

杨暕到死也不知道杀他的是谁，死时年仅三十四岁。

赵王杨杲

杨杲(607年-618年)，小字季子。父隋炀帝杨广，母萧嫔。

杨杲很聪颖，年仅七岁就被封为赵王。在杨广巡游江南的过程中，杨杲一直陪侍左右，可见杨广对杨杲宠爱之深。

大业九年(613年)，年仅七岁，封为赵王。

次年八月，隋炀帝巡行北疆，突厥攻雁门关，箭射到隋炀帝面前，隋炀帝害怕，抱着杨杲哭得眼睛都肿了。不久授光禄大夫，拜河南尹。杨杲聪敏，美容仪，隋炀帝写的词赋，多能诵之。性至孝，见炀帝不食，亦终日不食。

大业十四年(618年)，江都政变，宇文化及带人入宫，杨杲时年十二岁，在杨广身旁不停悲号哀哭，裴虔通使贼斩之于帝前，血湔御服。时年十二。萧皇后跟宫女、宦官，用木板做一个棺材，把杨广和杨杲，置于西院流珠堂。