汉、唐先后属西域都护府、北庭都护府管辖。
元时称作阿力麻里，意为苹果城，曾是察合台汗国的首府。
属阿力麻里行尚书省，后为成吉思汗七世孙秃黑鲁帖木尔汗的辖地。
明末清初为准噶尔部的游牧地。
清乾隆二十七年（1762）设“总统伊犁等处将军”于惠远城（今惠远镇），成为统辖西域的政治、军事中心；光绪十四年（1888）设绥定县，析置霍尔果斯分防厅，隶属伊犁府。
1914年，升分防厅设霍尔果斯县，1947年，改名霍城县，原绥定县分为绥定，霍城两县。
1950年，属伊犁专区，绥定县下设7区36乡，霍城县下设6区32乡。
1965年11月，绥定县更名为水定县。
次年撤水定县，二县合并称霍城县，县治水定镇，隶属伊犁哈萨克自治州。
1985年，属伊犁地区，县辖2镇、8乡、5牧场。
之后进行区划调整，至2021年县辖6镇3乡。