20世纪50年代初，除湘桂粤边界的民瑶、平地瑶的村落选在平坝、丘陵、河谷地带外，大部分瑶族仍居住在高山密林中，广西的布努瑶则大多居住在石山或半石山地区。村落的选向依山势而定，不一定要坐北朝南或坐西朝东，只要是靠近水源和耕种区域，易找建筑材料，野兽出没较少的向阳处，便可立村寨。其村落大多较小，分布也比较零散，村与村的距离，近者相距一二公里，远的相距一二十公里。但富川、恭城、江华、江永等地的平地瑶、民瑶和广西大瑶山的茶山瑶、花蓝瑶、坳瑶及广东连南排瑶的村落相对较大，住户较为集中，多由不同姓氏的数十户人家组成一个村寨，共同生活。而大部分盘瑶和布努瑶的村落一般只住十多户有血缘关系的同姓宗族或亲戚，最多也只二三十户；大部分村落比较分散，有的人家住山腰，有的人家住坳顶，有的人家住坳脚；每户之间相距数百米，有时一个村落分布在数个山头或弄场，每个山头或弄场只住一两户人家，以保证有足够的土地来养活当地的人们，当地民谚称：“讲话听得见，见面走半天。”20世纪80年代后，中国共产党和中国政府在贫困地区实施“扶贫攻坚”措施，将桂西北和粤北的部分瑶族从人多地少的石山地区迁徙到耕地较多的平坝地区居住，改变了部分瑶族的居住环境，减轻了人口对土地的压力。

蛮徭“挟山阻谷，依林积木以为之居，人迹罕至”。“山谷弥远、徭人弥多。”瑶族“本盘瓠之后，其地山溪高深，生深山重溪中”。徭“山林险恶，巢穴深远”。瑶族“所居皆深山重阻，人迹罕至”。由此可见，宋代，瑶族是居住在边远的深山老林之中，地势险恶。正如瑶族人民珍藏的《评皇券牒》所载：“王徭子孙，居住高山草岭……日月照见，所闻禽兽之声，青山石壁，所听饿鬼之声，荒地冲中，常闻野狸之叫，仍系徭人之业，栽种养活，永远本分”。