至元光六年(前129年)，敌人的监视渐渐有所松弛。一天，张骞趁匈奴人的不备，果断地离开妻儿，带领其随从，逃出了匈奴王庭。

这种逃亡是十分危险和艰难的。幸运的是，在匈奴的十年留居，使张骞等人详细了解了通往西域的道路，并学会了匈奴人的语言，他们穿上胡服，很难被匈奴人查获。因而他们较顺利地穿过了匈奴人的控制区。

但在留居匈奴期间，西域的形势已发生了变化。月氏的敌国乌孙，在匈奴支持和唆使下，西攻月氏。月氏人被迫又从伊犁河流域，继续西迁，进入咸海附近的妫水地区，征服大夏，在新的土地上另建家园。张骞大概了解到这一情况。

他们经车师后没有向西北伊犁河流域进发，而是折向西南，进入焉耆，再溯塔里木河西行，过库车、疏勒等地，翻越葱岭，直达大宛(今苏联费尔干纳盆地)。路上经过了数十日的跋涉。

这是一次极为艰苦的行军。大戈壁滩上，飞沙走石，热浪滚滚;葱岭高如屋嵴，冰雪皑皑，寒风刺骨。沿途人烟稀少，水源奇缺。加之匆匆出逃，物资准备又不足。

张骞一行，风餐露宿，备尝艰辛。干粮吃尽了，就靠善射的堂邑父射杀禽兽聊以充饥。不少随从或因饥渴倒毙途中，或葬身黄沙、冰窟，献出了生命。