瑶绣起源于对祖先盘王的崇拜。盘王即盘瓠，是瑶族民间流传的神话故事中一位带有图腾色彩的创世英雄。“盘瓠传说”于东汉应勋的《风俗通义》及南宋范晔的《后汉书•南蛮列传》均有记载，主要讲述的是：远古时期，有位“平王”驯养了一只身有五彩斑纹的名犬，名曰“盘瓠”。当时平王国与番王国作战，盘瓠龙犬翻山过海帮助王朝消除寇首立功，被封为“盘王”，并被赐予公主为妻。新婚之夜，盘王变身成为一位身材魁梧的美男子。盘王不恋朝廷荣华富贵，夫妻二人前往深山耕种、狩猎，繁衍了十二姓瑶人。盘王过世之后，其妻教授孩子们用五色刺绣各种花纹图案，以此纪念盘王。瑶人将“神龙过海”的故事绣在自己的衣裙上，以示对祖先的崇拜。除此之外，盘王印，即盘瓠王受封侯所持有的王印，这一方印形图案，也被视为神圣的宝物，具有保护族人平安健康的作用。清黄钧宰的《金壶浪墨》载：瑶人“女则五彩缯帛，裰于两袖前襟至腰,后幅垂至膝下，名狗尾形，示不忘祖也”。