由于他拒绝在晋国做官，被晋国充作奴隶(媵人)，在穆姬嫁给秦穆公时候，陪嫁到秦国。百里奚在去秦国的途中，逃回到楚国。

楚国国君楚成王听说百里奚善于养牛，就让百里奚为自己养牛。刚当上秦国国君的秦穆公，名字叫任好，是一位胸有大志的国君，听说了百里奚是人才。

就想重金赎回百里奚。秦穆公的谋臣公子絷说：“那楚成王一定是不知道百里奚的才能，才让百里奚养牛。若用重金赎他。

那不就等于告诉人家百里奚是千载难遇的人才吗?”秦穆公问：“那我该怎么样才能得到百里奚?”公子絷说：“可以贵物贱买，用一个奴隶的市价，也就是五张黑公羊皮来换百里奚。那样楚成王就一定不会怀疑了。” 

当百里奚被押回秦国后，秦穆公亲自接见了百里奚。百里奚说：“我是亡国之臣，哪里值得国君垂询!”穆公说：“虞君不用你，才使你被掳，并不是你的过错。”

秦穆公亲自解除了他的奴隶身份，并与他商谈，讨教国大事。两人一谈就是三天，言无不合。穆公十分高兴，要拜其为上大夫(上卿)，委以国政，实际上就是把秦国的军政大权都交给了百里奚。

百里奚坚决辞让不受，并推荐自己的好友蹇叔当上卿。最后，秦穆公就让他用很重礼，将蹇叔请来秦国，让他和蹇叔一道做秦国的上大夫。

因百里奚是秦穆公用五张黑公羊皮换回来的奴隶，故世人称百里奚为“五羖大夫”。羖，就是黑公羊皮的意思。