瑶族一般由数户或十余户人家组成村落，聚族而居，迁徙频繁的过山瑶常以一家一户为居住单位居住或一姓家族组成小村寨，村与村之间、户与户之间相隔一定距离，有的甚至数十里之远。在平原或
丘陵居住的
瑶族也有几十户组成的村落，但超
百户的大村寨不多见。
广东连南八排瑶的村寨算是较大的山寨，排上三五百余户不等。瑶人居住之处，除称瑶山外，也有村、寨、溪、洞、团、源、排、隘、坑诸名，如明人王翱《边情疏》记载，
广西徭僮诸族，“名曰溪，曰寨，曰团，曰隘，咸负固保之所。既无域郭可居，亦无沟池可守，不过依山傍险，为自全计”。按宗族聚居，以姓别宗族，故毛奇龄写到：罗旁瑶“出入跳跃，间亦自迷所归，但以峒姓为别写”。瑶人聚族而居，但以姓氏形成家族圈，如八排瑶在排以下有“龙”的居住形式，即以血缘家族形成一条“龙”，按山势风水龙脉形成居住区，南岗排分成三条“龙”，排东一“龙”为大唐九房和部分小唐所居，排西一“龙”为盘、房二姓和大唐、小唐人所居，排中心一“龙”为邓姓人所居，在同一“龙”居住的地域上，各举氏聚居在一起，如盘姓在“龙”之西，房姓和唐姓在“龙”之东，-此两姓界又有中段为界，房姓在上，唐姓在下，互不相混，始终以血缘家族群居为其特点。故大排积聚的人口较多。“连山之徭以万数，五排最大；连州之徭以万数，三排最大”。