刚好华阴的各位杨姓请求当向导，杨玄感于是放弃洛阳，西取关中，扬言说：“我已破了东都，要夺取关西去了。”宇文述等部队跟在后面追击。到了弘农宫，父老们拦着杨玄感说：“弘农宫兵力空虚，又有很多粮食，容易打下来。这样，进可绝敌人的粮食，退可占取宜阳的地盘。”

杨玄感同意，留下攻弘农宫，打了三天，打不下来，追兵于是追了上来。杨玄感往西到了阌乡，上盘豆，布阵连绵五十里，与官军且战且走，一天几次战败。又在董杜原摆下战阵，诸军进攻，杨玄感大败，独与十几个骑兵在林间逃跑，将奔上洛(今陕西商县)。

追兵追到，杨玄感叱咤一声，吓退追兵。到了葭芦戍，杨玄感窘迫，独与其弟弟杨积善步行。他自知难免一死，对杨积善说：“事情失败了。我不能让人杀辱，你可杀死我。”杨积善抽刀砍死杨玄感，然后自己自杀，但自杀未死被追兵擒获，与杨玄感的首级一起送到隋炀帝的行宫。

在洛阳将杨玄感分尸，并暴尸三天，又把他的肉切成一块一块，放火焚烧。余党全被平息。杨玄感的诸弟义阳太守杨玄奖、杨万硕、杨民行皆被杀。公卿请求把杨玄感的杨姓改为枭姓，隋炀帝下诏同意。