黃山市文明的源頭可以追溯到距今5000多年前。
從歙縣、祁門等地出土的文物表明，今黃山市一帶早在舊石器時期就已有先民生活。
新石器時代，先民們已創(chuàng)造原始土著文化。
春秋戰(zhàn)國先屬吳，吳亡屬越，越亡屬楚，直至秦王嬴政二十四年（前223年）滅楚。
但這些都只是地域上的歸屬，并非實(shí)質(zhì)性的管轄。
當(dāng)時仍屬于相對獨(dú)立的古越土著的勢力范圍。
秦秦始皇二十六年（前221年），秦統(tǒng)一中國，推行郡縣制，隸屬于會稽郡。
秦始皇三十七年（前210年）正月，始皇帝嬴政東巡至?xí)ń裾憬B興一帶），為加強(qiáng)對東南地區(qū)的統(tǒng)治，將原越國的百姓遷徙至新安江上游一帶，設(shè)立黝（宋以后稱黟）、歙二縣，屬鄣郡。
這是黃山市地域最早的行政區(qū)劃建置，已有2000千多年歷史。
“黝”、“歙”二縣的縣名，來自于古越語地名的發(fā)音。
當(dāng)時的黝、歙兩縣轄地很廣。
歙縣地包括歙縣、休寧、屯溪區(qū)、徽州區(qū)、績溪，浙江的淳安及江西婺源的一部分。
黝縣地包括黟縣、祁門、石臺、廣德和黃山區(qū)的一部分。
西漢初期，黝、歙二縣相繼屬楚國、荊國、吳國、江都國，后屬丹陽郡。
鴻嘉二年（前19年），改黝縣為廣德王國，廣德王城在今黟縣城東五里。
歙縣屬丹陽郡。
第二年廢廣德王國，復(fù)設(shè)黝縣。
元始二年（2年），又設(shè)廣德王國。
新莽王莽篡權(quán)，建立新朝，于始建國二年（10年），貶廣德王為公，改黝縣為愬虜。
東漢東漢末年三國鼎立。
黝、歙二縣屬東吳領(lǐng)地。
當(dāng)時，這里的越人土著和一些避入山林的漢人，“依山阻險，不納王租”，被稱為“山越”，勢力日益強(qiáng)大，對東吳的統(tǒng)治構(gòu)成嚴(yán)重威脅。
建安十三年（208年），吳主孫權(quán)派遣“威武中郎將”賀齊征服歙縣金奇、毛甘，黟縣陳仆、祖山等山越部落后，分歙縣東鄉(xiāng)地置始新縣，南鄉(xiāng)地置新定縣，西鄉(xiāng)地置黎陽縣、休陽縣，加黟、歙共六縣建新都郡。
治所始新（故城在今浙江淳安縣西）。
這是黃山市地域州郡一級行政設(shè)置的開始，從此成為相對獨(dú)立的行政區(qū)劃。
三國吳永安元年（258年），避吳主孫休名諱，改休陽縣為海陽縣。
西晉太康元年（280年），滅吳國，改新都郡為新安郡，所屬新定縣改為遂安縣，海陽縣為海寧縣。
新安郡轄始新、黝、歙、遂安、黎陽、海寧縣，郡治在始新縣。
郡名新安，一說以祁門縣新安山為名，一說取其安定之意。
南北朝南朝宋大明八年（464年），并黎陽縣入海寧縣。
南朝梁普通三年（522年），劃吳郡壽昌縣入新安郡。
南朝梁大同元年（535年），析歙縣華陽鎮(zhèn)置良安縣。
南朝梁承圣二年（553年），又析海寧、黝、歙各一部分重設(shè)黎陽縣。
當(dāng)時境內(nèi)有兩個郡：一個是新設(shè)的新寧郡，轄海寧、黝、歙、黎陽縣，治所海寧；另一個為新安郡，轄始新、遂安、壽昌、良安縣，治所始新。
南朝陳天嘉三年（562年），將新寧郡并入新安郡，黎陽縣并入海寧縣。
新安郡轄歙、黝、海寧、始新、遂安、壽昌6縣。
隋隋朝重新統(tǒng)一中國。
開皇九年（589年），改始新縣為新安縣，并遂安、壽昌入新安縣，隸婺州。
改新安郡為歙州，領(lǐng)海寧、黝、歙縣，治海寧（一說并黝、歙入海寧，劃歸婺州）。
開皇十一年（591年），歙州轄黝、歙、海寧縣，治黝縣。
開皇十八年（598年），取“休陽”、“海寧”各一字改海寧縣為休寧縣，郡治在萬歲山（又名萬壽山，即今休寧縣萬安鎮(zhèn)東古城巖）。
大業(yè)三年（607年），復(fù)改歙州為新安郡，轄休寧、黝、歙縣，郡治休寧縣。
隋末動亂，大業(yè)十二年（616年），歙縣人汪華起兵占據(jù)歙州及宣、杭、睦、婺、饒共6州，號稱吳王。
王城即設(shè)于休寧萬安萬歲山，這便是萬歲山又稱為古城巖的來歷。
次年遷往歙縣烏聊山。
唐武德四年（621年），汪華歸附唐朝，被封為越國公。
復(fù)改新安郡為歙州，州治歙縣。
并在歙縣設(shè)歙州總管，越國公汪華為總管府使，總管歙、宣、杭、睦、婺、饒六州軍事。
武德七年（624年），改總管府為都督府。
永徽五年（654年），平睦州女子陳碩真起義，析歙縣地置北野縣。
開元二十八年（740年），平休寧人洪貞起義，劃休寧回玉鄉(xiāng)及樂平懷金鄉(xiāng)置婺源縣。
天寶元年（742年），改歙州為新安郡，轄歙、休寧、黝、北野、婺源縣。
乾元元年（758年），復(fù)改歙州。
大歷元年（766年），平方清起義，析歙、休寧地置歸德縣，析黟縣赤山鎮(zhèn)和饒州浮梁地置祁門縣，劃歙縣華陽鎮(zhèn)置績溪縣。
大歷五年（770年），廢北野縣入歙，廢歸德縣入休寧，歙州轄歙、休寧、黝、績溪、婺源、祁門縣，從此形成延續(xù)至清末達(dá)1700多年的“一府（州）六縣”格局。
五代十國歙州先后屬吳、南唐（江南）。
宋宣和三年（1121年），平歙州人方臘起義，改歙州為徽州，轄歙、休寧、黟、績溪、婺源、祁門縣，州治歙縣。
徽州名稱的由來，一說“徽”為美義。
其實(shí)“徽”字本意為“繩索”、“捆綁”，以其命名，表達(dá)了宋王朝在經(jīng)過“動蕩”之后，企望對這片土地加強(qiáng)約束和統(tǒng)治。
從此，直到清宣統(tǒng)三年（1911年）的790年間，作為州府名，徽州這一名稱一直沒有變更。
元至元十四年（1277年），改徽州為徽州路。
元貞元年（1295年），升婺源縣為州，徽州路領(lǐng)歙、休寧、黟、績溪、祁門縣和婺源州。
至正十七年（1357年），朱元璋部攻克徽州，改徽州路為興安府。
至正二十四年（1364年），又改興安府為徽州府。
明洪武元年（1368年），曾經(jīng)是朱元璋重要根據(jù)地的徽州府直隸中書省。
洪武二年（1369年），降婺源州為縣。
洪武八年徽州府直隸六部。
永樂元年（1403），改隸南京（不久改稱南直隸）。
清順治二年（1645年），徽州府隸屬江南省。
康熙六年（1667年）七月，康熙帝批準(zhǔn)建立安徽�。ㄊ∶ 鞍矐c”、“徽州”兩府首字），徽州府改屬安徽省，后屬安徽省徽寧道、徽寧池太道。
乾隆二十六年（1761年），隸安徽布政使。
咸豐四年（1854年），改屬徽寧池太廣道及皖南鎮(zhèn)，因清軍與太平軍在這一帶爭戰(zhàn)激烈，徽州府由浙江巡撫兼轄。
同治四年（1865年），復(fù)歸安徽省管轄。
中華民國民國元年（1912年），裁府留縣，徽州所屬各縣直屬安徽省。
民國二十年（1931年），實(shí)行“首席縣長”制，原屬徽州各縣首席縣長駐歙縣。
民國二十一年（1932年）10月，設(shè)安徽省第十行政督察區(qū)，轄休寧、婺源、祁門、黟、歙、績溪6縣，治所休寧。
民國二十三年（1934年）7月，婺源縣劃屬江西省，婺源縣和原屬徽州各縣士民隨即掀起“婺源回皖運(yùn)動”。
民國二十七年（1938年）4月，成立皖南行政公署，治所屯溪，第十行政督察區(qū)隸之。
民國二十九年（1939年）3月，撤銷第十區(qū)機(jī)構(gòu)，保留名義，各縣直屬皖南行署。
同年8月，原第十區(qū)改為第七區(qū)，轄休寧、黟、歙、祁門、績溪、旌德6縣。
民國三十六年（1947年）6月，婺源縣劃歸安徽省，屬第七區(qū)。
民國三十八年（1949年）4月，第七區(qū)所屬7縣全境解放。
同年5月，成立徽州專區(qū)，隸屬皖南區(qū)人民行政公署。
專區(qū)治所初置歙縣，后遷屯溪。
全區(qū)領(lǐng)屯溪市和績溪、旌德、歙、休寧、黟、祁門6縣，婺源縣劃屬江西省。
同年5月6日，皖南軍區(qū)在屯溪正式成立。
同年5月7日，皖南行政公署在屯溪正式成立。
[21]中華人民共和國新中國成立后，徽州專區(qū)仍屬皖南區(qū)。
1952年2月，太平、石棣、寧國三縣劃屬徽州專區(qū)。
同年8月，撤銷皖南、皖北區(qū)，設(shè)安徽省，徽州專區(qū)改屬安徽省。
1953年12月，屯溪市直隸安徽省，專區(qū)轄歙、休寧、績溪、黟、祁門、旌德、太平、石棣、寧國9縣。
1955年，屯溪市改屬徽州專區(qū)。
1956年1月，徽州專區(qū)并入蕪湖專區(qū)。
1961年4月，重設(shè)徽州專區(qū)，領(lǐng)績溪、旌德、太平、歙、休寧、黟、祁門7縣和屯溪市。
同年8月，寧國縣劃屬徽州專區(qū)。
1965年8月，從太平縣劃出原石棣縣區(qū)域和貴池縣部分地區(qū)設(shè)石臺縣，屬池州專區(qū)。
1971年3月，改徽州專區(qū)為徽州地區(qū)。
1974年3月，太平縣劃屬池州地區(qū)。
1980年1月，寧國縣改屬宣城地區(qū)，太平、石臺2縣劃歸徽州地區(qū)。
1983年12月，撤銷太平縣，所轄區(qū)域與歙縣黃山公社、石臺縣廣陽公社合并成立黃山市（縣級），由省直轄。
1986年6月，黃山市（縣級）改由徽州地區(qū)代管，徽州地區(qū)轄屯溪、黃山（縣級）2市和歙、休寧、黟、祁門、石臺、績溪、旌德7縣。
1987年11月，國務(wù)院發(fā)出《關(guān)于安徽省調(diào)整徽州地區(qū)行政區(qū)劃的批復(fù)》，撤銷徽州地區(qū)、屯溪市和縣級黃山市，設(shè)立地級黃山市。
原屬徽州地區(qū)的石臺縣劃屬池州地區(qū)，績溪、旌德2縣劃屬宣城地區(qū)。
1988年4月，地級黃山市正式成立。