窝阔台汗死，乃马真皇后称制，宠信回回人奥都剌合蛮等，耶律楚材受到排挤，抑郁而死。崇信佛教，多与僧人往来。著有《湛然居士集》、《西游录》、《庚午元历》、《皇极经世义》、《五星秘语》、《先知大数》等书。耶律楚材在封建时代的著作中一直被视为“名臣”。清朝乾隆皇帝曾下令在北京西郊瓮山脚下(今颐和园内)为耶律楚材立祠以示纪念，至今该祠尚存。耶律楚材，字晋卿，辽朝东丹王耶律突欲的八世孙。父亲耶律履，因学问品行出众得以奉事金世宗，特别受到亲近和信任，去世时官至尚书右丞。

楚材三岁时父亲去世，母亲杨氏教他读书。长大后，博览群书，兼通天文、地理、律历、术数以及佛、道、医、卜等学问，下笔写文章，好象早就做好似的。金朝制度，宰相之子可以按惯例通过考试担任尚书省属官。耶律楚材想参加进士科考试，章宗诏令按原有的制度办。考官用几个疑难案件进行提问，当时一起参加考试的有十七个人，唯独楚材的回答特别好，于是被征召为尚书省属官。此后又担任过开州同知。

贞祐二年，金宣宗迁都汴梁，完颜福兴为行尚书省事，留守燕京，征召耶律楚材为左右司员外郎。太祖　成吉思汗攻取燕京，听说楚材的名字，于是召见他。耶律楚材身高八尺，胡须漂亮声音宏亮，太祖很看重他，说：“辽和金是世代的仇敌，我为你报仇雪恨。”楚材回答说：“我的父亲和祖父都曾委身奉事金朝，既然做了金朝的臣民，怎敢仇恨自己的君主呢?”太祖很敬重他这番话，把他安排在自己身边，于是称呼楚材为“吾图撒合里”而不叫他的名字，“吾图撒合里”，在蒙语中意思是胡须很长的人。

己卯年夏六月，太祖向西讨伐回回国。祭旗的那一天，雪下了有三尺厚，太祖心中疑惑，耶律楚材说：“盛夏季节出现水气，这是战胜敌人的预兆。”庚辰年冬天，雷声很大，太祖又问他，他回答说：“回回国王将死在野外。”以后这些话都灵验了。西夏人常八斤，因为善于制造弓箭，得到太祖的赏识，所以经常自夸道：“国家正在兴兵打仗，耶律楚材这个书生有什么用!”楚材说“造弓尚且要用弓匠，取天下的人怎能不用治理天下的工匠呢?”