鱼俱罗身形魁梧，相貌异于常人，眼睛里各有两个瞳孔，在古代被认为是帝王之像。这下隋炀帝心里就不舒服了，开始怀疑鱼俱罗是不是想要取而代之，就开始找鱼俱罗的错处了。鱼俱罗是不是就只是单单因为帝王的猜忌而死的呢?鱼俱罗究竟为何而死呢?

隋炀帝在为藩王时，鱼俱罗的弟弟鱼赞，跟随在隋炀帝左右，累次升迁至大都督。隋炀帝继位后，拜授鱼赞为车骑将军。鱼赞生性凶残，虐待其部下，令左右炙肉，碰上不中意，就用竹签刺瞎眼睛。有温酒而温度不合适的，立即割断人家的舌头。

隋炀帝因鱼赞是自己在藩国时的旧交，不忍心杀他，就对近臣们说:"弟弟既然如此，兄长也可想见。"因而召来鱼俱罗，责备他，把鱼赞从牢里放出来，让他带回去自己处理。鱼赞回到家里，喝毒药自杀。隋炀帝恐鱼俱罗心中不安，怕他生起边患，于是调任他为安州刺史。一年后，又调任赵郡太守。

后来鱼俱罗入朝拜见隋炀帝，与大臣们相聚。鱼俱罗到了东都洛阳，与将军梁伯隐有旧交，二人于是数次来往。鱼俱罗又从赵郡带回许多杂物，献给隋炀帝，隋炀帝不要，他就转送给权贵们。御史弹劾鱼俱罗以郡将身份交结朝中大臣。隋炀帝大怒，鱼俱罗与梁伯隐都坐罪除名。