在公元前三世纪末期到公元三世纪初期(汉末)，西南地区夜郎一带，已经有包括仡佬族的先民在内的僚人活动。公元前111年后，汉代中央政权在夜郎及其附近地区设置了=郡。从此，该地的主要居民——僚人，与中原地区在政治、经济和文化各方面都有了较多的联系。

　　唐、宋时期的书籍中，有了关于“葛傣”“仡傣”“佶僚”“仡佬”的记载。这些异写而音近的名称，一般都是从隋代以前史书中常用的“僚”人一词演变出来的。十四——十七世纪(明代)的有关著作中，则明白地指出了仡佬和僚的关系，如《嘉靖图经》载：“仡佬，古称傣”。田汝成著的“行边纪闻》中，也曾提到“仡佬，一曰僚”。这都在一定程度上反映了古代僚人与仡佬族的关系。从古代僚人和以后仡佬族的分布地区来看，他们之间的关系也很密切。文献中记述唐、宋以前僚人活动的地区和唐宋以后仡佬族分布的地区，大体一致，或记载着僚人与仡佬在同一时期居住在同一地区内。如七世纪以后，湘西地区武岗县有僚人，洛浦县(在今湖南保靖县南)有“仡僚”，到十二世纪，过去居住有僚人的辰州(今湖南沅陵县)、沅州(今湖南黔阳县)、靖州(今湖南通道县境)一带则已在住有很多“仡佬”人。“僚”是古代对西南地区若干少数民族的泛称。仡佬族就是从僚人发展出来的。

　　仡佬族在住房、服饰、饮食、丧葬以及凿齿(打牙)、穿耳等习俗上，都曾保存了较多的古代僚人的特征。到十九世纪末年，贵州普定县窝子乡和高阳乡一带的仡佬族妇女，还有打牙的习俗。古代僚人妇女穿着的“桶裙”(或作“通群”)，几十年前在贵州部分地区的仡佬族中，也还保留有这种服饰。

　　古代僚人分布的范围，曾因迁徙而不断扩大。公元三世纪初期(蜀汉建兴年间)，诸葛亮的部将马忠，派遣张嶷攻打部(在今贵州境内)以后，曾将这一带的两千多僚人迁往汉中(今陕西汉中专区)。公元302年至347年间(西晋太安元年至东晋永和三年)，当时的统治者曾多次从郡招引大批僚人进入四川。在今川阆中、西昌、广汉、简阳、资阳、宜宾和梓童等地，从事农业生产劳动。

　　广西的仡佬族，根据史书记载，是从贵州迁去的。现在广西隆林县大水井的仡佬族人民也传说他们的祖先迁自贵州兴义府(今贵州安龙县)，到现在已有十代了。