湘西北早在春秋时期就已经成为巴人的定居地。“故老相传，楚子灭巴’巴子兄弟五人流人黔中，曰酉、辰、巫、武、沅等五溪，为一溪之长，故号五溪。”周慎王
五年（公元前316年）
秦惠文王遣张仪、
司马错伐蜀，灭之。“仪贪巴苴之富，因取巴，执王以归，置巴、蜀及汉中郡。”至此，巴子国即告灭亡，随之板楯蛮巴賨也就四散了，他们中的主体部分后来逐渐同化于汉族之中。但其中的一支，不愿臣服的则转向西南山区。更有一批
将士，跟随秦人南征，后来在武陵山区留居下来，成为当地的蛮夷之长，即以后的田、覃、向等大姓。《
后汉书•南蛮西南夷列传》记：“秦昭襄王使白起伐楚，略取蛮夷，始置黔中郡，汉兴，改为武陵（郡），岁令大人输布一匹，小口二丈，是谓‘賨布’”。酉水流域的永顺、保靖、龙山、古丈等地所产的“賨布”就很著名，一直是朝庭的“贡品”。唐代诗人
刘禹锡在《晚岁登武陵（今
常德）城，顾望水陆，怅然有感》中就写过：“城基历汉魏，江（沅江)源自‘賨’（应是‘賨’字之误)巴”。可见，在唐代这一带仍然有賨人所居。明代中期溪洲（今永顺、古丈、龙山）宣慰使彭世麟为其宗祠所写的《世忠堂铭》之中就有“
大明当天，
四海就平，天宝献賨,稽首天庭”之句。其中天宝是指彭天宝，为明初溪州宣慰使，所以，直至明代溪州等地的土人还是以賨人自居。