唐堯子丹朱邑。

春秋屬晉。

戰(zhàn)國屬魏。

漢為襄陵縣地，屬河?xùn)|郡。

魏晉胥屬平陽郡。

南北朝北魏天賜元年（404）置葛城縣（今古縣村）。

太平真君二年（441）罷禽昌郡后，析襄陵縣置禽昌縣，省葛城縣并入。

北齊天保七年（556）移禽昌縣治于今堯都區(qū)縣底村，省襄陵縣并入。

北周移縣治于襄陵故城（今襄汾縣古城莊）在葛城故地置郭城縣。

隋大業(yè)二年（606）廢禽昌縣為襄陵縣，治襄陵故城，省郭城縣入襄陵，屬臨汾郡。

唐武德二年（619）以襄陵地廣析置浮山縣，以郭城舊址建治。

尋以神人見，四年（621年）改名神山縣，屬晉州。

宋康定元年（1040年）縣治自郭城遷今址，縣屬晉州。

政和六年（1116）屬平陽府。

金大定七年（1167）復(fù)名浮山縣，興定四年（1220）改名忠孝縣，屬平陽府。

元大德九年（1305）復(fù)稱浮山縣，屬晉寧路。

明、清屬平陽府。

公元1913年屬河?xùn)|道，公元1927年屬山西省，公元1937年屬山西省第五區(qū)。

1939年3月建立抗日民主政府，屬山西第六行政區(qū)。

1941年晉、冀、魯、豫邊區(qū)建立，浮山屬太岳行署。

1947年4月，浮山解放，歸太岳三分區(qū)，冀南行署轄地。

1949年中華人民共和國成立，民主政府改為縣人民政府，屬山西省臨汾專區(qū)。

1954年縣人民政府改為縣人民委員會，屬晉南專區(qū)。

1967年4月8日成立浮山縣革命委員會。

1970年隸屬臨汾地區(qū)。

2000年臨汾撤地設(shè)市，隸屬臨汾市管轄至今。