夏商时期，市境属“淮夷”之地。
西周时期，市境大部为州来国所辖，南部地区分属六、蓼；春秋末期，诸侯纷争。
周襄王三十年（前622年），楚灭六、蓼，市境南部入楚；周景王十六年（前529年），吴灭州来，市境属吴；随着楚国势力的扩张，位于淮河上游的蔡国被迫几度迁都，求救于吴。
周敬王二十七年，（前493年），在吴国的支持下，蔡国迁都于州来，改州来为下蔡。
战国初期，周贞定王二十二年（前447年），楚惠王灭蔡，市境属楚。
战国末期，楚考烈王二十二年（前241年），迁都于寿春，改寿春为郢，市境为楚国都城。
楚王负刍五年（前223年），秦灭楚。
秦始皇二十六年（前221年），秦统一六国，市境淮河以南属九江郡（郡治寿春），凤台县及淮河以北属泗水郡。
汉高祖四年（前203年），刘邦封英布为淮南王，首置淮南国，都六（今六安），辖九江、庐江、衡山、豫章4郡。
高祖十一年（前196年），英布获罪伏诛，改封刘长为淮南王，都寿春（今寿县）。
汉文帝六年（前174年），刘长获罪流放，死于途中。
文帝改封城阳王刘喜为淮南王。
汉文帝十六年（前164年），淮南国被分为淮南、衡山、庐江，分别封给刘长的3个儿子，长子刘安继任淮南王，都寿春。
汉武帝元狩元年（前122年），刘安获罪自尽，废淮南国，复为九江郡，治寿春。
元封五年（前106年），置十三州刺史部，属扬州刺史部，驻九江郡，寿春为九江郡治所。
西汉时期，市境先后为淮南国、九江郡所辖，凤台县属沛郡下蔡县。
东汉时期，市境为九江郡所辖，分属寿春县、下蔡县。
三国时期，曹魏设淮南郡，寿春为郡治兼扬州治所。
其后，魏文帝先后封其子曹邕及其弟曹彪为淮南王，明帝青龙元年（233年），移治合肥新城。
其间，市境为淮南郡所辖。
西晋初年，扬州迁治建邺，淮南郡迁治于寿春，市境为其所辖。
永嘉乱起，淮河流域沦为战乱区，江淮郡县大批废弛，北人南迁。
东晋咸和初年侨置淮南郡于丹阳郡于湖，市辖境则为侨置的南梁郡。
孝武帝时，因避帝后郑阿春名讳，改寿春为寿阳。
南北朝期间，刘宋、南齐、萧梁沿袭东晋，侨置淮南郡于江南。
市境淮河以南先后有豫州、南梁郡等侨置郡县。
北魏、北齐、北周、隋时，市境淮河以南复为淮南郡所辖，淮河以北属汝阴郡下蔡县。
隋开皇八年（588年），置淮南行台尚书省，治所寿春；次年灭陈，改行台省为寿州总管府。
大业三年（607年），改置淮南郡，寿春为郡治所。
唐，置淮南道，市境淮河以南属淮南道寿州所辖。
天复二年（902年），唐封淮南节度使杨行密为吴王，都扬州，寿州为吴国地。
淮河以北属河南道颍州下蔡县。
五代初，吴王天祐四年（907年），置寿州忠正军节度使。
吴天祚三年（937年），南唐代吴，以寿州置清淮军节度使。
后周显德四年（957年），世宗拔寿州，置忠正军节度使，徙军治、州治于下蔡（今凤台），称北寿春，寿州称南寿春。
北宋，置淮南路，市境属淮南路寿州（治下蔡）所辖。
熙宁五年（1072年），分淮南路为东西两路，市境为淮南西路寿州所辖。
徽宗政和六年（1116年），升寿州为寿春府，府治在北寿春（下蔡）。
南宋绍兴十一年（1141年），宋金和议，以淮河、大散关为界，市境淮河以北属金国，淮河以南为宋地。
金以下蔡为寿州，置防御使，隶汴京路（后改称南京路）；宋置安丰军，治安丰县，寿春隶安丰军；绍兴三十二年（1162年），复置寿春府，隶淮南西路，寿春为府治，兼制安丰军。
元代，市境属河南江北行中书省安丰路，分属寿春、下蔡两县所辖。
至元二十八年（1291年），建怀远县，今市区东部属怀远县辖地。
明代，市境属南京凤阳府辖地，分属寿州（包括今凤台县）、怀远县。
清初，市境属江南行省凤阳府，分属寿州、怀远县所辖。
顺治十八年（1661年），置江南省左、右承宣布政使司，凤阳府隶属左司。
康熙六年（1667年），江南省左布政使司改称安徽布政使司。
雍正十一年（1733年），从寿州分置出凤台县，辖故下蔡县地，同城分治。
同治三年（1864年），凤台县迁治于下蔡县故地（今城关）。
同治四年（1865年），安徽置3道，市境隶属凤颍六泗道（后改为皖北道）凤阳府。
民国元年（1912年），废道府，市境分属寿县、凤台、怀远县。
民国三年（1914年），市境属安徽省淮泗道（治凤阳县）。
民国二十一年（1932年），市境隶属安徽省第四行政督察区，专员驻寿县；民国二十七年（1938年），改属第三区，专员先后驻立煌（今金寨）、六安；民国二十九年（1940年），第三区改为第二区。
其中有“淮南三镇”之称的田家庵、大通、九龙岗均属怀远县所辖。
1949年1月18日，淮南解放。
市境分属淮南矿区、寿县、凤台县；3月，中共中央华东局决定在淮南三镇的基础上设立淮南煤矿特别行政区；4月，淮南煤矿特别行政区改设为淮南矿区。
1950年9月，建县级淮南市。
1952年6月，建立省辖淮南市。
1977年1月，凤台县由阜阳专区划入。
1999年11月，毛集社会发展综合实验区批准成立。
2004年7月，孔店乡、三和乡、曹庵镇、史院乡、孤堆乡、杨公镇、孙庙乡由长丰县、寿县分别划入淮南市大通区、田家庵区、谢家集区。
2015年12月3日，国务院批复同意六安市寿县划归淮南市管辖。
2016年1月，寿县正式划归淮南市。