秦武公十年（前688）开始建立冀县。
西汉时仍为冀县。
东汉明帝永平十七年（74），将天水郡移置冀县，改名汉阳郡，这是甘谷建立郡治的开始；东汉灵帝时（168-188）凉州刺史治冀县。
三国曹魏时（220-265）为冀县，复改汉阳郡为天水郡，属天水郡。
晋武帝泰始五年（269），置秦州治；泰康七年，秦州迁置上邽，为天水郡，冀属之。
永嘉之年（307），废冀。
北朝后魏武帝太平真君八年（447）改为当亭县，属天水郡；北朝北周时（557-581）改为冀城县，后又并入黄瓜县。
隋炀帝大业时（605年-618）改为冀城县，属天水郡。
唐高祖武德三年（620）始改为伏羌县，属秦州天水郡中督都府。
是年以伏羌及渭州之陇西置伏州治永宁县。
武德八年废，县入秦州；唐代宗广德元年至宋太祖建隆三年（763-962）共199年，被吐蕃所占领。
宋太祖建隆三年（962），置伏羌寨，属秦州；宋神宗熙宁三年（1070），升为伏羌城。
元世祖至元十三年（1276），又为伏羌县。
明、清两代沿用。
1929年1月1日，中华民国内政部改伏羌县为甘谷县至今。
1949年8月5日，甘谷县解放，1958年12月甘谷县并入武山县，1962年1月分治，恢复了甘谷县沿用至今。
2002年1月，撤六峰乡、安远乡，建六峰镇、安远镇；2003年7月，撤渭阳乡，建渭阳镇；2003年12月，撤销十里铺乡，并入城关镇，合并后的城关镇更名为大像山镇；撤销渭阳镇、康家滩乡，将渭阳镇和康家滩乡走马梁以南的孙家坪等10村并入新兴镇，将康家滩乡走马梁以北的阴坡等10村并入安远镇；撤销金坪乡，并入六峰镇；撤销金川乡，并入磐安镇。
撤并后全县辖5镇10乡。
2015年撤销金山乡、礼辛乡、大石乡、大庄乡、武家河乡成立金山镇、礼辛镇、大石镇、大庄镇、武家河镇；2016年撤销八里湾乡、西坪乡、古坡乡成立八里湾镇、西坪镇、古坡镇。
现全县辖13镇2乡。