零陵、永州、芝山，一地三名，是一座具有兩千多年歷史文明的古城，是湖南四大歷史文化名城之一。

西漢元朔五年，置泉陵侯國(guó)，為境內(nèi)建縣之始，屬零陵郡，治所在今芝山區(qū)城北1千米處。

隋開皇九年，改泉陵縣為零陵縣。

此后，一直為唐宋元明清歷代王朝的郡、道、州、府治所。

清代咸豐三年，永州試院長(zhǎng)靈芝，故得名芝城。

芝山名源出于此。

1949年為永州專區(qū)。

1950年5月，改稱零陵專區(qū)，零陵縣屬之。

1952年，衡陽(yáng)、零陵、郴州3專區(qū)合并，設(shè)立湘南行政區(qū)，零陵縣屬湘南行政區(qū)。

1954年，撤銷湘南行政區(qū)，改設(shè)衡陽(yáng)、郴州2個(gè)專區(qū)，零陵縣屬衡陽(yáng)專區(qū)。

1962年底，恢復(fù)零陵專區(qū)，零陵縣改屬零陵專區(qū)。

1968年9月，成立零陵地區(qū)革命委員會(huì)，1979年改為零陵地區(qū)行政公署，零陵縣屬之。

1979年，劃出1鎮(zhèn)2鄉(xiāng)，成立永州鎮(zhèn)，歸零陵地區(qū)直轄。

1982年1月，成立縣級(jí)永州市，以零陵地區(qū)直屬的永州鎮(zhèn)和零陵縣的朝陽(yáng)、七里店兩個(gè)公社，以及天字地公社的建設(shè)橋大隊(duì)，零陵縣原種場(chǎng)和所屬的茆江橋大隊(duì)為永州市的行政區(qū)劃，隸屬于零陵地區(qū)行政公署領(lǐng)導(dǎo)。

1984年撤銷零陵縣，零陵縣的行政轄區(qū)分劃給永州市、冷水灘市管轄，原零陵縣的富家橋、水口山、郵亭圩、珠山、黃田鋪、菱角塘6個(gè)區(qū)及楚江圩區(qū)的接履橋鄉(xiāng)劃歸永州市。

1995年6月撤區(qū)并鄉(xiāng)，11月縣級(jí)永州市更名為芝山區(qū)，芝山區(qū)屬地級(jí)永州市。

2005年，芝山區(qū)更名為零陵區(qū)。