武帝元鼎五年（前一一二），西羌数十万人反，和匈奴相应合，匈奴入五原（今河套），西羌围枹罕（今临夏）。翌年，武帝命将军李息讨羌，把羌人到青海和盐池，逼他们让出了湟水流域，汉朝就在那里立了许多县，隶属于陇西郡；又置護羌校尉，驻临羌县，统领羌中事务。到昭帝始元六年（前八一），又从陇西郡中分出金城郡。依今日的区域来说，这一个新立的金城郡的疆域应当东自榆中，西至湟源，南至夏河，北抵永登。湟水流域水草丰美，既宜于畜牧，又适于耕田，羌人虽一时离开，终究念念不忘。到宣帝时，派义渠安国巡行诸羌，先零羌的酋长向他请求，可否渡过湟水，到汉人没有种田的地方去畜牧。安国刚把这件事情奏闻朝廷，羌人就强渡湟水，官吏禁止不住。元康三年（前六三），先零羌又会合了诸种羌的酋长二百余人，解仇结盟，交换人质。这是有一个大举动的先兆，宣帝听得了，问老将赵充国；充国对道：

到了汉代，原来进入中原的羌人，已与汉族融合。而未进入中原的则形成众多部落，各有酋长，散布于长城以南的陇西和青海河湟地区。这些部落名号不同，不相统属，常互相攻战掳掠，"强则分种为酋豪，弱则为人附落”（《后汉书·西羌传》)。他们大多处于原始社会氏族部落末期至阶级社会初期，与西周初年建立的齐、吕、申、许等羌人大不相同。众多部落中最强的有先零羌和烧当羌。其次则有钟羌、勒姐羌、卑湳羌、当煎羌、幵羌、罕羌、且冻羌、沈氐羌、虔人羌、牢姐羌、封养羌、彡姐羌、烧何羌、巩唐羌，以及效功、傅难、当阒、乌吾、零悟、滇那、黄羝等羌族部落。他们分布在今甘肃、青海和陕西西南部，与汉王朝都曾发生过大小不同的冲突，对汉叛服无常，但最后大部分羌人部落都失败降服，被分散内迁至边塞诸郡安置。没有降附的仍居塞外，被称为外羌。

东汉初年，光武帝恢复護羌校尉，就招抚方面下工夫。可是双方的冲突到底不能避免，建武十一年（公元三五），先零羌劫掠金城、陇西诸地，被陇西太守马援击破。当时就发生了两个问题：第一问题是羌人的习性反覆，只要汉朝防范稍疏，他们就故态复萌，作起乱子，如今正当他们衰败之时，应当怎样处置才可以防止后患？第二问题是涼州在王莽以后，经隗嚣的割据，人民已难安居，再加上羌人的扰乱，多半逃亡到别处去了，这广大的边方又应当怎样安集人民？当时朝中诸臣对于第二问题的解决方法倒很简便，他们主张把接近羌人的地方索性弃掉，免得多事，独马援以为不可，他说：