耶律楚材在金章宗明昌元年六月二十日(1190年7月24日)生于燕京(今北京)，他出身契丹贵族家庭，是辽太祖耶律阿保机的九世孙、东丹王耶律倍八世孙、金朝尚书右丞耶律履之子。其名及字均取自《春秋左氏传》中的“楚虽有材，晋实用之”的典故，蒙古名吾图撒合里，意为“长髯人”。 

明昌二年(1191年)六月，耶律履去世，耶律楚材时年两岁(另有明昌元年及明昌三年去世之说)，随母杨氏定居义州弘政(今锦州义县)，受到母亲全面的教育，十二岁时入闾山显州书院，十三岁时学习诗书。

自耶律楚材的祖父起他们家世代仕于金朝，常居燕京。当时燕京有深厚的汉文化的基础，这使得耶律氏世代受到汉文化熏陶，形成了读书知礼的家风。耶律楚材从小就受到了儒家思想的熏陶，他的理想是按照儒家的学说来治理天下。耶律楚材秉承家族传统，自幼学习汉籍，精通汉文，年纪轻轻就已“博及群书，旁通天文、地理、律历、术数及释老医卜之说，下笔为文，若宿构著”了。