连山位于广东省西北部，西与广西贺州市相邻，北靠湖南江华瑶族自治县。1953年1月25日，连山县与东邻的连南县全关成立了连南瑶族自治区（县）。两县合并后，由于地域辽阔，又是山区，交通、管理不便，原来两县地方历史特点与经济发展情况很不相同，因此广东省人民政府于1954年1月20日决定，恢复连山县建制。恢复连山县建制后，连山县壮族人民要求实行民族区域自治。1957年12月27日，经广东省人民委员会讨论通过报国务院审批。1958年5月29日，国务院77次全体会议通过：撤销广东省连山县，成立连山壮族瑶族自治县。自治县的名称定为连山壮族瑶族自治县，是因为“连山”这个地名沿用下来已有1300多年，各族人民都同意沿用这一历史名称。壮族是建立自治县的主体少数民族，瑶族人口虽只有583人，为了加强民族团结，体现少数民族政治上的平等地位，自治县名称上加上瑶族。1958年8月1日，成立连山壮族瑶族自治县筹备委员会，9月10日，启用国务院制发的“连山壮族瑶族自治县人民委员会”钢质印章。后因“人民公社化”运动及与连县、连南、阳山合并成立连阳各族自治县而停止了建立连山壮族瑶族自治县的筹备工作。自治县的建立遭遇曲折。