新石器时代在三河一江流域就有人类开发这块亘古荒原，自中华民族有了文字，甲骨片上就已刻上了“羌”字。
羌人部族众多，随着历史的进程，甘南的羌部逐渐建立自己的部落联盟或依附中原王朝，民族间的交流逐渐频繁起来。
秦时部分地方已属临洮管辖。
西汉时，东部属陇西郡，北部属金城郡，设白石、羌道二县。
隋时的临洮郡、袍罕郡、宕昌郡分别管辖今甘南的西北和东南部部分地区。
唐朝初年废郡置州，甘南境内曾为洮州、芳州、迭州的全部和河州、宕州的部分，西北部属吐谷浑、吐蕃的范围。
元代属宣政院辖，吐蕃等处宣慰司统领。
明代属陕西都司管辖，清乾隆时，州境大部属巩府，夏河由循化抚番厅管辖。
1913年，废府设道，临潭县属兰山道，西固县曲县属渭川道。
1928年，建立夏河县，改属甘肃管辖，1937年，成立卓尼局。
1949年9月至12月，临潭、卓尼、夏河、西固相继解放。
1952年7月14日，甘南藏区委员会，1953年10月，甘南藏族自治区成立，1955年7月1日，改为甘南藏族自治州，州府设在合作市，是全州政治、经济、文化中心。