杨玄感以下策为上计，将引兵从汲郡(今河南淇县东)渡河，围攻东都洛阳。唐祎到了河内，跑到东都报告了杨玄感谋反之事。越王杨侗、民部尚书樊子盖很害怕，调兵防御。修武县百姓一起守住临清关，杨玄感无法过河，于是在汲郡南渡黄河，随之叛乱的人有很多，犹如街市一般。

几天之后，驻兵于上春门，人数达到十几万。樊子盖命令河南赞治裴弘策抵抗，裴弘策战败。鏶、洛的父老乡亲们竞相送牛送酒，慰劳杨玄感。杨玄感屯兵于尚书省，每每向众人发誓说：“我身为上柱国，家里黄金巨万，到了既富且贵的地步，我一无所求。

现在我不顾破家灭族，只是为了为天下人解倒悬之急，拯救黎民百姓的性命罢了。”众人都很高兴，到他军门请求效力的，每天都有数千人。杨玄感还给樊子盖写信，说明利害关系，希望樊子盖能归顺于他，然后率军进逼东都洛阳。

刑部尚书卫玄，率众几万，从关中来援救洛阳。卫玄用步兵、骑兵二万，渡过鏶、涧来挑战，杨玄感假装失败。卫玄追赶他，这时杨玄感的伏兵冲了出来，卫玄的前军全被消灭。几天后，卫玄又与杨玄感交战，两军刚交战，杨玄感就让人大呼道：“官军已经捉住了杨玄感了!”卫玄军稍稍松懈下来，杨玄感与几千骑兵乘机进攻，卫玄军于是大败，只带了八千人逃走。