同治五年（1864年），农民起义军攻入王府，处死伯锡尔并烧毁王府。后默哈莫特在清军扶植下嗣位。但在同治十二年秋，陕西回民义军头目白彦虎攻进回城，王府又遭掠夺。到1885年，末代回王沙木胡索特大兴土木，进行了扩建和改建扩建后的回王府占地数百亩，有房800间，共有大小门楼9道，喜庆之日，9道门楼彩旗高悬，壮观之极。多元文化在回王府的身上得到完美和谐的统一。