漢、唐先后屬西域都護府、北庭都護府管轄。

元時稱作阿力麻里，意為蘋果城，曾是察合臺汗國的首府。

屬阿力麻里行尚書省，后為成吉思汗七世孫禿黑魯帖木爾汗的轄地。

明末清初為準噶爾部的游牧地。

清乾隆二十七年（1762）設“總統(tǒng)伊犁等處將軍”于惠遠城（今惠遠鎮(zhèn)），成為統(tǒng)轄西域的政治、軍事中心；光緒十四年（1888）設綏定縣，析置霍爾果斯分防廳，隸屬伊犁府。

1914年，升分防廳設霍爾果斯縣，1947年，改名霍城縣，原綏定縣分為綏定，霍城兩縣。

1950年，屬伊犁專區(qū)，綏定縣下設7區(qū)36鄉(xiāng)，霍城縣下設6區(qū)32鄉(xiāng)。

1965年11月，綏定縣更名為水定縣。

次年撤水定縣，二縣合并稱霍城縣，縣治水定鎮(zhèn)，隸屬伊犁哈薩克自治州。

1985年，屬伊犁地區(qū)，縣轄2鎮(zhèn)、8鄉(xiāng)、5牧場。

之后進行區(qū)劃調整，至2021年縣轄6鎮(zhèn)3鄉(xiāng)。