这些瑶族集团之间的关系在过去也是相当复杂的。在大瑶山的这五种不同自称的瑶民中，荼山瑶、坳瑶、花蓝瑶分别占有一部分山岭，包括土地、森林、飞鸟和河水，所以他们又统称为山主瑶，或又因为他们的男子过去都留长发，在头顶上梳一个发髻，所以又有“长毛瑶”之称。这三个集团的瑶民住在沿河较平的坝子里，以耕种水稻为主，因此他们可以世世代代定居在一个地方，用土木结构建筑经久的房屋，聚居成比较密集的村寨，而每个村寨大多有十几户人家。盘瑶和山子瑶则不占有瑶山里的土地，他们在过去只能向早已定居在这里的山主瑶，讨山地经营以刀耕火种为主的原始农业，每年须向山主瑶交租和服劳役。在刀耕火种的农业中，他们每过几年就要拋荒另开新地，不能定居，必须经常迁徙，所以只能住在简陋的竹棚里。因此这两个集团的瑶族被统称为山子瑶或过山瑶，表示他们既没有土地又是居处不定的瑶民。过山瑶在严重的剥削下，生活贫困。我初访瑶山时，曾冷冲住过他们的竹棚，晚上寒风透过墙缝寒气袭人，很多人家难得有一床完整的棉被，成人连衣裤都不全；吃的是苞米和野菜。