黄山市文明的源头可以追溯到距今5000多年前。
从歙县、祁门等地出土的文物表明，今黄山市一带早在旧石器时期就已有先民生活。
新石器时代，先民们已创造原始土著文化。
春秋战国先属吴，吴亡属越，越亡属楚，直至秦王嬴政二十四年（前223年）灭楚。
但这些都只是地域上的归属，并非实质性的管辖。
当时仍属于相对独立的古越土著的势力范围。
秦秦始皇二十六年（前221年），秦统一中国，推行郡县制，隶属于会稽郡。
秦始皇三十七年（前210年）正月，始皇帝嬴政东巡至会稽（今浙江绍兴一带），为加强对东南地区的统治，将原越国的百姓迁徙至新安江上游一带，设立黝（宋以后称黟）、歙二县，属鄣郡。
这是黄山市地域最早的行政区划建置，已有2000千多年历史。
“黝”、“歙”二县的县名，来自于古越语地名的发音。
当时的黝、歙两县辖地很广。
歙县地包括歙县、休宁、屯溪区、徽州区、绩溪，浙江的淳安及江西婺源的一部分。
黝县地包括黟县、祁门、石台、广德和黄山区的一部分。
西汉初期，黝、歙二县相继属楚国、荆国、吴国、江都国，后属丹阳郡。
鸿嘉二年（前19年），改黝县为广德王国，广德王城在今黟县城东五里。
歙县属丹阳郡。
第二年废广德王国，复设黝县。
元始二年（2年），又设广德王国。
新莽王莽篡权，建立新朝，于始建国二年（10年），贬广德王为公，改黝县为愬虏。
东汉东汉末年三国鼎立。
黝、歙二县属东吴领地。
当时，这里的越人土著和一些避入山林的汉人，“依山阻险，不纳王租”，被称为“山越”，势力日益强大，对东吴的统治构成严重威胁。
建安十三年（208年），吴主孙权派遣“威武中郎将”贺齐征服歙县金奇、毛甘，黟县陈仆、祖山等山越部落后，分歙县东乡地置始新县，南乡地置新定县，西乡地置黎阳县、休阳县，加黟、歙共六县建新都郡。
治所始新（故城在今浙江淳安县西）。
这是黄山市地域州郡一级行政设置的开始，从此成为相对独立的行政区划。
三国吴永安元年（258年），避吴主孙休名讳，改休阳县为海阳县。
西晋太康元年（280年），灭吴国，改新都郡为新安郡，所属新定县改为遂安县，海阳县为海宁县。
新安郡辖始新、黝、歙、遂安、黎阳、海宁县，郡治在始新县。
郡名新安，一说以祁门县新安山为名，一说取其安定之意。
南北朝南朝宋大明八年（464年），并黎阳县入海宁县。
南朝梁普通三年（522年），划吴郡寿昌县入新安郡。
南朝梁大同元年（535年），析歙县华阳镇置良安县。
南朝梁承圣二年（553年），又析海宁、黝、歙各一部分重设黎阳县。
当时境内有两个郡：一个是新设的新宁郡，辖海宁、黝、歙、黎阳县，治所海宁；另一个为新安郡，辖始新、遂安、寿昌、良安县，治所始新。
南朝陈天嘉三年（562年），将新宁郡并入新安郡，黎阳县并入海宁县。
新安郡辖歙、黝、海宁、始新、遂安、寿昌6县。
隋隋朝重新统一中国。
开皇九年（589年），改始新县为新安县，并遂安、寿昌入新安县，隶婺州。
改新安郡为歙州，领海宁、黝、歙县，治海宁（一说并黝、歙入海宁，划归婺州）。
开皇十一年（591年），歙州辖黝、歙、海宁县，治黝县。
开皇十八年（598年），取“休阳”、“海宁”各一字改海宁县为休宁县，郡治在万岁山（又名万寿山，即今休宁县万安镇东古城岩）。
大业三年（607年），复改歙州为新安郡，辖休宁、黝、歙县，郡治休宁县。
隋末动乱，大业十二年（616年），歙县人汪华起兵占据歙州及宣、杭、睦、婺、饶共6州，号称吴王。
王城即设于休宁万安万岁山，这便是万岁山又称为古城岩的来历。
次年迁往歙县乌聊山。
唐武德四年（621年），汪华归附唐朝，被封为越国公。
复改新安郡为歙州，州治歙县。
并在歙县设歙州总管，越国公汪华为总管府使，总管歙、宣、杭、睦、婺、饶六州军事。
武德七年（624年），改总管府为都督府。
永徽五年（654年），平睦州女子陈硕真起义，析歙县地置北野县。
开元二十八年（740年），平休宁人洪贞起义，划休宁回玉乡及乐平怀金乡置婺源县。
天宝元年（742年），改歙州为新安郡，辖歙、休宁、黝、北野、婺源县。
乾元元年（758年），复改歙州。
大历元年（766年），平方清起义，析歙、休宁地置归德县，析黟县赤山镇和饶州浮梁地置祁门县，划歙县华阳镇置绩溪县。
大历五年（770年），废北野县入歙，废归德县入休宁，歙州辖歙、休宁、黝、绩溪、婺源、祁门县，从此形成延续至清末达1700多年的“一府（州）六县”格局。
五代十国歙州先后属吴、南唐（江南）。
宋宣和三年（1121年），平歙州人方腊起义，改歙州为徽州，辖歙、休宁、黟、绩溪、婺源、祁门县，州治歙县。
徽州名称的由来，一说“徽”为美义。
其实“徽”字本意为“绳索”、“捆绑”，以其命名，表达了宋王朝在经过“动荡”之后，企望对这片土地加强约束和统治。
从此，直到清宣统三年（1911年）的790年间，作为州府名，徽州这一名称一直没有变更。
元至元十四年（1277年），改徽州为徽州路。
元贞元年（1295年），升婺源县为州，徽州路领歙、休宁、黟、绩溪、祁门县和婺源州。
至正十七年（1357年），朱元璋部攻克徽州，改徽州路为兴安府。
至正二十四年（1364年），又改兴安府为徽州府。
明洪武元年（1368年），曾经是朱元璋重要根据地的徽州府直隶中书省。
洪武二年（1369年），降婺源州为县。
洪武八年徽州府直隶六部。
永乐元年（1403），改隶南京（不久改称南直隶）。
清顺治二年（1645年），徽州府隶属江南省。
康熙六年（1667年）七月，康熙帝批准建立安徽省（省名取“安庆”、“徽州”两府首字），徽州府改属安徽省，后属安徽省徽宁道、徽宁池太道。
乾隆二十六年（1761年），隶安徽布政使。
咸丰四年（1854年），改属徽宁池太广道及皖南镇，因清军与太平军在这一带争战激烈，徽州府由浙江巡抚兼辖。
同治四年（1865年），复归安徽省管辖。
中华民国民国元年（1912年），裁府留县，徽州所属各县直属安徽省。
民国二十年（1931年），实行“首席县长”制，原属徽州各县首席县长驻歙县。
民国二十一年（1932年）10月，设安徽省第十行政督察区，辖休宁、婺源、祁门、黟、歙、绩溪6县，治所休宁。
民国二十三年（1934年）7月，婺源县划属江西省，婺源县和原属徽州各县士民随即掀起“婺源回皖运动”。
民国二十七年（1938年）4月，成立皖南行政公署，治所屯溪，第十行政督察区隶之。
民国二十九年（1939年）3月，撤销第十区机构，保留名义，各县直属皖南行署。
同年8月，原第十区改为第七区，辖休宁、黟、歙、祁门、绩溪、旌德6县。
民国三十六年（1947年）6月，婺源县划归安徽省，属第七区。
民国三十八年（1949年）4月，第七区所属7县全境解放。
同年5月，成立徽州专区，隶属皖南区人民行政公署。
专区治所初置歙县，后迁屯溪。
全区领屯溪市和绩溪、旌德、歙、休宁、黟、祁门6县，婺源县划属江西省。
同年5月6日，皖南军区在屯溪正式成立。
同年5月7日，皖南行政公署在屯溪正式成立。
[21]中华人民共和国新中国成立后，徽州专区仍属皖南区。
1952年2月，太平、石棣、宁国三县划属徽州专区。
同年8月，撤销皖南、皖北区，设安徽省，徽州专区改属安徽省。
1953年12月，屯溪市直隶安徽省，专区辖歙、休宁、绩溪、黟、祁门、旌德、太平、石棣、宁国9县。
1955年，屯溪市改属徽州专区。
1956年1月，徽州专区并入芜湖专区。
1961年4月，重设徽州专区，领绩溪、旌德、太平、歙、休宁、黟、祁门7县和屯溪市。
同年8月，宁国县划属徽州专区。
1965年8月，从太平县划出原石棣县区域和贵池县部分地区设石台县，属池州专区。
1971年3月，改徽州专区为徽州地区。
1974年3月，太平县划属池州地区。
1980年1月，宁国县改属宣城地区，太平、石台2县划归徽州地区。
1983年12月，撤销太平县，所辖区域与歙县黄山公社、石台县广阳公社合并成立黄山市（县级），由省直辖。
1986年6月，黄山市（县级）改由徽州地区代管，徽州地区辖屯溪、黄山（县级）2市和歙、休宁、黟、祁门、石台、绩溪、旌德7县。
1987年11月，国务院发出《关于安徽省调整徽州地区行政区划的批复》，撤销徽州地区、屯溪市和县级黄山市，设立地级黄山市。
原属徽州地区的石台县划属池州地区，绩溪、旌德2县划属宣城地区。
1988年4月，地级黄山市正式成立。