縣境戰(zhàn)國時期始置皋狼邑，屬趙地，西漢置皋狼縣屬西河郡。

西晉置左國城，屬西河國。

北齊文宣帝天保三年（552）置良泉縣，屬懷政郡（離石）。

北周靜帝大象年間增設(shè)窟胡縣。

隋文帝開皇三年（583）改窟胡縣為修化縣，屬石州。

隋煬帝大業(yè)三年（607）建方山縣。

唐高祖武德二年（619）置方州，縣屬之。

武德三年（620）州廢，改屬石州。

貞觀十一年（637）方山縣治移往今古賢，仍屬石州，金宣宗貞祐四年（1216），縣治遷于積翠山。

元世祖至元三年（1266）省方山縣，并入離石縣，屬石州。

1918年復置方山縣，屬冀寧道。

1937年，屬第四行政公署。

1939年屬第二行政公署。

1940年晉西北成立抗日民主政權(quán)——山西省第二游擊區(qū)行署，縣屬四專區(qū)。

1942年三、四專區(qū)合并為三專區(qū)，縣屬三專區(qū)。

1943年，西北行政公署改名為晉綏邊區(qū)行政公署，縣屬晉綏邊區(qū)三分區(qū)管轄。

1949年2月15日晉綏邊區(qū)與陜甘寧邊區(qū)合并后設(shè)晉西北行署，下設(shè)4個分區(qū)，縣屬離石分區(qū)。

9月，山西省人民政府成立，縣屬興縣專區(qū)。

1952年7月1日，撤銷興縣專區(qū)，縣歸榆次專區(qū)。

1954年7月1日與離石縣合并為離山縣。

1958年11月10日中陽縣并入離山縣后，改名離石縣。

1971年5月1日恢復方山縣，縣城設(shè)在圪洞鎮(zhèn)，屬呂梁地區(qū)。

2003年10月，國務(wù)院批準呂梁地區(qū)撤地建市，方山縣歸呂梁市管轄。