所居极其简陋，宋朱辅在《溪蛮丛笑》载：“山徭穴居野处，虽有屋以庇风雨，不过剪茅叉木而已，名打寮。”章惇在《开梅山》诗中写到：“梅山万仞摩星扪萝，鸟道十步曲折，时有僵木横岩颠，负岩直下视南岳。局曲迴首犹平川，人家迤逦见版屋，火烧硗埔种畲田”。从上述所引可见宋代徭人的居屋有穴居、有木寮又名“千个柱头下地”、有木板屋。除此之外，李本高在瑶族早期千家峒——湖南临湘龙窖山千家峒的调査中还发现了用石块砌成的石屋群和舂墙屋，以及吊脚楼。因该地至元代已无瑶族，所以其住屋应该是宋以前或宋时的居屋。