先秦衡陽地區(qū)古屬三苗、楊越，戰(zhàn)國時為楚國所轄，為楚南重鎮(zhèn)。
前221，秦始皇統(tǒng)一全國并將原楚國南部分為黔中、長沙兩郡，衡陽地域屬于長沙郡。
西漢高祖5年（202）始建酃縣（治今珠暉區(qū)酃湖鄉(xiāng)，中國西漢至隋朝初年酃縣指衡陽市珠暉區(qū)酃湖，宋代至新中國成立之初酃縣指炎陵縣），后設立鐘武侯國、重安侯國。
三國衡陽分屬于衡陽郡和湘東郡，出現二郡分立的情況。
220年，孫吳于長沙郡東南設置湘東郡，郡治設酃縣（今珠暉區(qū)酃湖鄉(xiāng)）；并于長沙郡西部設衡陽郡，下轄蒸陽（今衡陽縣）、重安（今衡南縣）、湘南、湘西（今衡山、衡東、南岳區(qū)）、湘鄉(xiāng)、益陽等縣。
此為歷史上首次出現以衡陽命名的郡。
西晉置衡州，治衡陽。
東晉、南北朝先后設湘東郡、衡陽王國（轄今衡陽市、婁底市、益陽市、湘鄉(xiāng)市、寧鄉(xiāng)縣、韶山市、等地）、湘東王國（今衡陽市、茶陵、炎陵、攸縣、雙峰、安仁等地），首府設衡陽。
前589，隋滅陳并改郡為州，改湘東、衡陽兩郡為衡州、臨蒸為衡陽縣，州、縣城均在江東東岸。
此為歷史上首次出現以衡陽命名的縣。
唐朝唐天寶年間又將衡州改稱衡陽郡，直至唐乾元元年才復用衡州。
肅宗至德二年置衡州防御使，領衡、涪、岳、潭、郴、邵、永、道八州。
764年，唐王朝為了加強對湖南地區(qū)的控制，設置湖南觀察使。
這是歷史上最早出現“湖南”之名，湖南觀察使駐衡州。
宋朝為衡州衡陽郡。
元朝確定行省制度，省下設路，改置衡州路，在衡州設湖南宣慰司，屬湖廣行�。ㄖ挝洳�，今武漢）。
元貞元年(1295)衡永郴桂諸路人民抗糧、抗丁，起義頻繁，朝廷于衡州設行樞密院。
明朝置衡州府，屬湖廣行�。ㄖ挝洳裎錆h）。
下轄衡陽縣（衡陽市區(qū)、衡陽縣、衡南縣）、衡山縣（南岳區(qū)、衡山縣、衡東縣）、耒陽縣（耒陽市、安仁縣）、常寧縣（常寧市）、茶陵州（茶陵縣、攸縣、炎陵縣、安仁縣）、桂陽州（桂陽縣、臨武縣、藍山縣、嘉禾縣），明朝中后期設桂王藩國，都衡陽。
清代湖廣行省分為左、右布政使司，康熙三年（1664）分為湖南、湖北兩省。
置衡永郴道，駐衡州府，領衡州府（衡陽縣、清泉縣、衡山縣、耒陽縣、常寧縣、安仁縣、酃縣、桂陽州、臨武縣、藍山縣、嘉禾縣）、永州府（零陵縣、祁陽縣、東安縣、道州、寧遠縣、永明縣、江華縣、新田縣）、郴州（永興縣、宜章縣、興寧縣、桂東縣），雍正十年(1732)增領桂陽州，更名衡永郴桂道。
1676年，吳三桂在衡陽稱帝，國號周。
衡陽稱應天府（國都）。
1914年，廢府存道，改衡永郴街道為衡陽道。
1936年，湖南設立行政督察區(qū)，衡陽先后屬于第五和第二行政督察區(qū)，專員公署駐衡陽，轄衡陽、衡山、常寧、耒陽、攸縣、安仁、酃縣、茶陵。
1939年春，因抗日戰(zhàn)爭的緣故湖南省政府自沅陵遷至耒陽，省政府設在水東江至竹市一帶，秘書廳設杜陵書院（今耒陽一中）。
1942年，衡陽縣東華、雁峰、西湖、石鼓、江東5鎮(zhèn)和城郊的廣福、奇罡、酃湖3鄉(xiāng)區(qū)域設置衡陽市。