土家族的来源亦有古羌人的成分。潘光旦先生在《湘西土家与古代巴人》中称：土家来源于古代巴人中的一支廪君，廪君人有东西二源。东源来自濮人中的蜑人；西源出自陇南一带的氐羌。古代羌人的一支南下到今贵州后，再由贵州迁入今湖南境内，因此，土家文化中亦有氐羌系统的成分。土家族崇尚白色，以白虎为图腾，民间流行敬白虎、祀白虎的习俗。