夏商时期为淮夷之地。
春秋时期属宋。
战国时期属楚。
秦代属泗水郡。
汉初始置谷阳县（今谷阳城遗址）。
东汉时期谷阳县设置未变。
北朝东魏武定六年（548），取梁之阳平郡，更名谷阳郡。
隋开皇六年（586），废高昌县，降谷阳郡为谷阳县。
显庆元年（656），省谷阳县入蕲县。
五代十国时期，境域北部先后隶属后梁、后唐、后晋、后汉的宿州蕲县，南部先后隶属吴、南唐的泗州虹县。
明洪武十二年（1379），割虹县南八都入凤阳县。
清代分属宿州、灵璧县、凤阳县和怀远县，隶属安徽省凤颍六四道（道尹驻凤阳）之凤阳府。
1948年11月27日，固镇地区解放，置固镇市。
1949年9月撤销固镇市。