靈石縣上古時代屬冀州。

堯、舜、夏、商、西周屬并州。

春秋時期北屬并州，南屬冀州。

戰(zhàn)國初年設(shè)縣，名平周，先屬趙國，后屬魏國。

秦莊襄王三年（前247）改平周縣為界休縣，屬太原郡。

漢元朔四年（前125）改屬西河郡。

三國時期改屬魏國并州西河郡。

晉改西河郡為西河國，改界休縣為介休縣，屬并州西河國。

北魏屬汾州西河郡。

北周大成元年（579）改介休縣為平昌縣，屬介休郡。

隋開皇十年（590），文帝北巡至此，獲一隕石，以為祥瑞，遂割平昌西南地置靈石縣，屬西河郡。

義寧元年（617年）改屬霍山郡。

唐武德二年（619年）改霍山郡為呂州，屬河東道呂州。

唐貞觀十七年（643年）改屬河東道汾州。

五代時期仍屬汾州。

北宋政和六年（1116）改屬霍州。

元代先屬霍州，其間設(shè)小靈石縣屬汾州，后仍屬霍州。

明萬歷二十三年（1595）屬汾州府。

明萬歷四十三年（1615）屬平陽府。

清乾隆三十七年（1772）升霍州為直隸州，改屬霍州。

民國初年，廢府，改州為縣，省下設(shè)道，由道轄縣，屬山西省河東道。

1927年，撤道直屬山西省。

1938年，因抗戰(zhàn)需要，以汾河為界分設(shè)靈（石）東、靈（石）西縣，靈（石）東縣屬晉冀魯豫邊區(qū)太岳分區(qū)，靈（石）西縣屬晉綏邊區(qū)。

1948年，靈（石）東、靈（石）西縣合并為靈石縣，屬太岳一專區(qū)。

中華人民共和國成立后，屬榆次專區(qū)。

1958年11月改為協(xié)作區(qū)，屬晉中專區(qū)介休縣。

1961年5月恢復(fù)原建制，仍屬晉中專區(qū)。

1968年9月屬晉中地區(qū)。

1999年9月，晉中地區(qū)改為晉中市，屬晉中市。