秦始皇二十六年（前221），置歙縣，屬鄣郡。

漢高祖五年（前202）屬楚國；武帝元狩二年（前121）屬丹陽郡;漢末建安十三年（208），屬新都郡；晉太康元年（280），改新都郡為新安郡，歙縣屬之；南朝梁承圣二年（553），劃出新安郡歙、黟、海寧三縣，置新寧郡；陳天嘉三年（562），撤銷新寧郡，仍屬新安郡。

隋文帝開皇九年（589），新安郡并入東陽郡，歙縣并入海寧縣，屬婺州；十一年（591）置歙州，復(fù)設(shè)歙縣；隋煬帝大業(yè)三年（607）撤歙州恢復(fù)新安郡；肅宋乾元元年（758）新安郡改為歙州，歙縣皆為郡、州第一縣。

北宋徽宗宋宣和三年（1121）歙州改名徽州。

元世祖至元十四年（1277），徽州改為徽州路。

順帝至正十七年（1357），徽州路改為興安府；二十七年（1367），興安府改為徽州府轄歙縣至清末。

1912年，撤銷徽州府，保留歙縣直屬安徽省。

1940年3月，屬皖南行署；抗日戰(zhàn)爭勝利后，撤銷皖南行署，屬安徽省第七行政督察區(qū)。

1949年歙縣屬徽州行政督察專員公署（簡稱徽州專署），治所歙縣。

1952年8月，恢復(fù)鄉(xiāng)鎮(zhèn)。

1956年1月，屬蕪湖專區(qū)。

1988年4月，撤地建市。