汉神爵三年（前59），隶西域都护府。
唐朝属北庭都护府。
元朝归别失八里行尚书省。
明代为卫拉特蒙古游牧的。
清平定准噶尔后为新土尔扈特蒙古游牧的。
乾隆年间（1736-1795）。
哈萨克中玉兹的阿巴克克烈部和乃曼部迁入，为科布多参赞大臣辖地，由乌里雅苏台定边左副将军统领。
清光绪二十九年（1903），清政府置哈巴河屯局。
光绪三十一年（1905），属阿尔泰办事大臣管辖。
1912年，置哈巴河设治局。
1920年，设哈巴河县佐，隶属布尔津县。
1930年3月，析置哈巴河县，隶属阿山行政区。
1950年，属阿山专区。
1951年正式成立哈巴河县政府。
1954年，属阿勒泰专区。
1970年，属阿勒泰地区。