及高祖为丞相，素深自结纳。高祖甚器之，以素为汴州刺史。行至洛阳，会尉迥作乱，荥州刺史宇文胄据武牢以应迥，素不得进。高祖拜素大将军，发河内兵击胄，破之。迁徐州总管，进位柱国，封清河郡公，邑二千户。以弟岳为临贞公。高祖受禅，加上柱国。开皇四年，拜御史大夫。其妻郑氏性悍，素忿之曰：“我若作天子，卿定不堪为皇后。”郑氏奏之，由是坐免。

上方图江表，先是，素数进取陈之计，未几，拜信州总管，赐钱百万、锦千段、马二百匹而遣之。素居永安，造大舰，名曰五牙，上起楼五层，高百馀尺，左右前后置六拍竿，并高五十尺，容战士八百人，旗帜加于上。次曰黄龙，置兵百人。自馀平乘、舴艋等各有差。及大举伐陈，以素为行军元帅，引舟师趣三硖。

军至流头滩，陈将戚欣以青龙百馀艘、屯兵数千人守狼尾滩，以遏军路。其地险峭，诸将患之。素曰：“胜负大计，在此一举。若昼日下船，彼则见我，滩流迅激，制不由人，则吾失其便。”乃以夜掩之。素亲率黄龙数千艘，衔枚而下，遣开府王长袭引步卒从南岸击欣别栅，令大将军刘仁恩率甲骑趣白沙北岸，迟明而至，击之，欣败走。悉虏其众，劳而遣之，秋毫不犯，陈人大悦。

素率水军东下，舟舻被江，旌甲曜日。素坐平乘大船，容貌雄伟，陈人望之惧曰：“清河公即江神也。”陈南康内史吕仲肃屯岐亭，正据江峡，于北岸凿岩，缀铁锁三条，横截上流，以遏战船。素与仁恩登陆俱发，先攻其栅。仲肃军夜溃，素徐去其锁。

仲肃复据荆门之延洲。素遣巴蜒卒千人，乘五牙四艘，以柏樯碎贼十馀舰，遂大破之，俘甲士二千余人，仲肃仅以身免。陈主遣其信州刺史顾觉镇安蜀城，荆州刺史陈纪镇公安，皆慑而退走。巴陵以东，无敢守者。湘州刺史、岳阳王陈叔慎遣使请降。素下至汉口，与秦孝王会。