大破钟葵

仁寿四年(604年)，杨坚驾崩，杨广即位，汉王杨谅在并州起兵。当时，代州总管李景被汉王的部将乔钟葵包围，杨广下诏让杨义臣去救援他。

杨义臣率领骑兵、步兵二万，夜出西陉，快天亮时，已赶了几十里路。乔钟葵侦悉杨义臣人马少，于是全部上阵来抵抗杨义臣。乔钟葵的副将王拔，骁勇无敌，特善用矛肖，射他又射不中，他常带几个骑兵冲锋陷阵。杨义臣特担心他，于是招募能够抵挡王拔的人，车骑将军杨思恩请求与王拔交战。杨义臣见杨思恩气貌雄勇，对他说：“真是壮士!”赐给他一卮酒。

杨思恩远远望见王拔站在阵后，就把酒斛往地上一丢，策马而赴敌。杨思恩冲了两次，都没有克敌制胜，杨义臣就又选十几个骑兵随他前去。杨思恩于是向前猛冲，杀了几个叛军，一直冲到王拔的军旗下。两人短兵交战，杨思恩的随从骑兵退后，于是杨思恩被王拔所杀。王拔于是乘胜进军，杨义臣军退了十几里。杨义臣于是赎回杨思恩的尸体，放声痛哭，三军无不流泪。杨思恩的随从骑兵都被腰斩。

杨义臣因自己兵少，于是把军中的牛和驴子全部清出来，清了几千头，又令兵卒几百人，每人拿一个鼓，偷偷地把牛和驴子赶到山谷里，出其不意。吃了晚饭，杨义臣又与钟葵交战，两军刚交手，杨义臣就命令驱赶牛和驴子的疾速前进。一时间，战鼓震天，尘埃弥天，乔钟葵军不知究竟，还以为是伏兵大发，因此大大地溃败。杨义臣纵兵反击，大破乔钟葵。杨义臣因战功升任上大将军，赐缣采二千段，杂采五百段，女妓十人，良马二十匹，继而授他为相州刺史。

南征北战

大业三年(607年)，杨广调杨义臣任宗正卿。不久，转任太仆卿。

大业五年(609年)，杨义臣随杨广征讨吐谷浑。杨广令义臣驻军于琵琶峡，军营相连达八十里，南接元寿，北连段文振，把吐谷浑国主包围在覆袁州。

大业八年(612年)，又随杨广征讨辽东，杨义臣率军直指肃慎道。到了鸭绿江，与乙支文德交战，义臣每次都当先锋，一天打了七次胜仗。后与各路军马都打了败仗，竟坐罪免职。不久复职。

大业九年(613年)，杨广以杨义臣为副将，与大将军宇文述去进攻平壤。到了鸭绿江，碰上杨玄感作乱，班师回朝，代理赵郡太守。妖贼向海公聚众作乱，寇掠于扶风、安定两地之间，杨义臣奉圣旨扫平了他们。继而在大业十年(614年)随杨广再征讨辽东，杨义臣迁为左光禄大夫。

当时渤海人高士达、清河人张金称，都相聚为盗，已有几万之众，攻陷郡县。杨广派将军段达进讨，不能取胜。有诏让杨义臣率领从辽东回来的兵马几万去进剿。杨义臣大破高士达，斩了张金称。又收拾降兵，进入豆子赹，讨伐格谦，活捉了他。

此后，杨义臣游弋河北一带，随把战况和河北群贼蜂起的情况上书朝廷。朝中内侍郎虞世基负责把各地上奏的表文呈送杨广，他知道杨广不愿听到各地盗乱情况的奏报，每当有这样的奏报，他总是掩饰真情，不实事求是地报告，只是对杨广说：“盗贼成不了气候，地方的官吏正在全力追剿，很快就会彻底剿除的。”并劝说皇帝不必忧心介意。

当杨广接到杨义臣在河北收降数十万叛军的捷报后，不禁叹息说：“我原来没有听到盗贼发展到如此地步?贼势发展得这样快，杨义臣降贼这么多?”虞世基却仍然对杨广说：“盗贼都是小股势力，虽多但终不能成气候，不必担忧;杨义臣几尽剿除盗贼，长期在京城之外拥有重兵，很不合适，不得不防。”

杨广竟以为然，随即下令追回杨义臣，并遣散他的士兵。杨义臣为此报憾忧愤，不得不回朝听命。不久后，张金称、高士达的余部全都归附窦建德，河北叛军复盛。回朝后，杨义臣因军功升任光禄大夫，不久拜授礼部尚书。不久，在官任上去世。