甘南上古時为西羌地。战国时期为秦国版图，屬臨洮郡。西汉元鼎六年（前111年），汉征讨羌人，划甘南州東部属陇西郡，北部属金城郡，设白石、羌道两县。三国州境东部属曹魏。南部属蜀汉。西晋永嘉七年（313年），吐谷浑于枹罕建国（今临夏市），吐谷浑人开辟了“丝绸南路”，成为连接中原与西藏、印度的要道。隋时的临洮郡、桴罕郡、宕昌郡分别管辖今甘南的西北和东南部。唐朝初年废郡置州，甘南境内曾为洮州、芳州、迭州的全部和河州、宕州的部分。唐龙朔三年（663年），吐谷浑为吐蕃所灭。吐蕃管辖期间又开发了“唐蕃古道”，经过甘南。北宋熙宁六年（1073年），宋将王韶收复河州，甘南归宋。
十三世纪，蒙古族进入青藏高原，将其纳入蒙古帝國版图。元朝在河州设立吐蕃等路宣慰司，管辖甘南之境。明朝洪武五年（1372年），朵甘思内附大明。洪武七年（1374年），设置朵甘行都指挥使司，辖甘南。清雍正初年平定青海亲王罗卜藏丹津之乱后，西安行都指挥使司总辖河州、朵干、马斯藏三卫，甘南西部为甘肅蘭州府循化厅管辖。
民国时期，甘南属甘肅省。民国二年（1913年），废府设道，临潭县属兰山道，西固县（今舟曲县）属渭川道。民国十五年（1926年），析导河、临潭及循化县设置拉卜楞设治局，驻拉卜楞（今夏河县拉卜楞镇）。民国十六年（1927年），升格为县。民国十七年（1928年）3月，改县名为“夏河”，以地处大夏河滨而得名。民国二十八年（1939年），以杨姓卓尼土司辖地改置卓尼设治局，局所驻卓尼（今卓尼县柳林镇），隶属于甘肃省第一行政督察区。
1953年10月，甘南自治区在夏河县拉卜楞成立，卓尼设治局改卓尼县。1954年7月，甘南自治区改为甘南藏族自治州。1956年5月，州府由夏河拉卜楞镇迁至黑措镇，黑措改名为谐音的“合作”。1998年1月，撤销合作镇，设立县级合作市。
2010年8月7日，甘南州舟曲县发生特大泥石流灾害，大量土石冲进县城，并截断两条河流，形成堰塞湖。灾害造成1481人遇难，284人失踪。