秦代始置汝阴县；东汉时期属于汝南郡；三国魏置汝阴郡；北魏孝昌四年（528），置颍州；隋大业三年（607），设汝阴郡；唐设颍州，属亳州管辖；宋设顺昌府；元属汝宁府；明朝属凤阳府。
明朝万历十年（1582），在阜阳县置颍川卫；清雍正十三年（1735）升颍州为颍州府，并以颍州本辖新置附郭县，乾隆皇帝依奏赐名阜阳县；民国初年撤销颍州府。
1949年3月，撤阜阳市，并入阜阳县；1949年10月，设立阜阳专区专员公署，下辖八县一个行政办事处。
阜阳专区有界首市、亳县、太和县、阜阳县、涡阳县、蒙城县、颍上县、阜南县、临泉县和凤台县。
1953年9月，界首市撤销，建界首县。
1964年10月，建立利辛县。
1971年，改阜阳专区为阜阳地区。
1975年12月19日，设立阜阳市（县级），由阜阳地区管辖。
1977年1月，凤台县由阜阳地区划归淮南市管辖。
1986年3月11日，设立亳州市（县级）。
亳州市由阜阳地区领导（1986年6月4日正式成立）。
1992年，同意撤销阜阳市、阜阳县，重新组建阜阳市（县级）。
1996年1月，撤销阜阳地区和县级阜阳市，设立地级阜阳市。
1998年2月，亳州市从阜阳市划出，由安徽省直辖。
2000年5月11日，将阜阳市管辖的涡阳县、蒙城县、利辛县划归新设立的地级亳州市管辖。