关于瑶族的瑶字来源，有很多种说法。 

其中以历史学家何光岳先生所著《南蛮源流史》中所理线索较为可信：瑶族先民在新石器时代擅长制作瓦器、陶罐，故最早的瑶族先民称为“窑民”;后来陶罐坯料制作由手工发展为旋转摇动制坯，窑民改称“摇民”。 

瑶族先民中四大姓之一雷氏，来源于发明养蚕缫丝的黄帝之妃方雷氏(嫘祖)，故瑶民善养蚕，又衍生出“繇民”一称;后蚩尤率领三苗和摇民与炎黄大战失败，摇人历经夏、商、周征伐，一部分被当成劳役奴隶，称之为“徭役”或“傜役”，即“傜人”(周去非《岭外代答》曰：徭人者，言其持徭役与中国也)。

此后历代傜人不断反抗封建统治压迫，啸聚山林、不缴赋税，至宋代又有“莫徭”之称，意即不缴税赋、不赋劳役之人;到了元代，统治者认为这种不赋徭役、刀耕火种的人群是野人，故将徭人的徭字改为具有侮辱性的犬旁的猺字，谓之“猺民”。

 至新中国成立之后，采纳了民主人士的提议，广泛征得本民族同意，将美玉旁的”瑶“字作为该名族统一名称：瑶族。