汾陽，于《禹貢》九州，為冀州之域，于周《職方》，屬并州。

春秋置瓜衍縣。

戰(zhàn)國屬魏、趙，為茲氏縣。

秦仍名茲氏縣，隸太原郡。

漢屬并州刺史部──太原郡。

三國魏置并州西河郡，郡治設(shè)于茲氏。

晉易名隰城，南北朝先后遞歸前趙、后趙、前秦、前燕、后燕、北魏、東魏、北齊。

北魏間汾州移治隰城，轄郡城。

北周廢汾州，改隸于介州。

隋先廢郡州，后復(fù)西河郡，郡治置隰城。

唐復(fù)稱汾州，治隰城縣如故。

肅宗上元元年，縣名改稱西河，歷五代、宋、金、元。

明初省西河縣置汾州，兼領(lǐng)平遙、介休、孝義三縣。

萬歷間升州為府，依郭設(shè)汾陽縣。

清因之。

1912年，廢府存縣。

1949年9月，山西省人民政府設(shè)汾陽專區(qū)，行署駐縣城。

1950個后半年，六區(qū)、八區(qū)合并，七區(qū)、九區(qū)合并，成為7個區(qū)。

1951年3月專區(qū)撤銷，改屬榆次專區(qū)。

1971年4月汾陽縣與文水、平遙、介休縣行政區(qū)劃進(jìn)行了較大的調(diào)整變更，將汾陽縣的蒼爾會公社二、三道川地區(qū)的蒼爾會等24個自然村和冀村公社的百金堡、東槽頭、西槽頭、裴會、王家莊、狄家莊、尹家莊、閻家社8個自然村劃歸文水縣管轄，將平遙縣的寧固、香樂、凈化、西王智4個公社計47個自然村及介休縣的萬戶堡公社及其所屬12個自然村劃歸汾陽管轄。

1971年5月劃歸新成立的呂梁地區(qū)，屬呂梁地區(qū)。

1996年8月20日，國務(wù)院批準(zhǔn)撤銷汾陽縣，設(shè)立縣級汾陽市。

2003年10月23日，國務(wù)院批準(zhǔn)撤銷呂梁地區(qū)，設(shè)立地級呂梁市，縣級汾陽市改由山西省直轄、地級呂梁市代管。