梁天監(jiān)五年（506），設(shè)廣德縣。

隋開皇十年（590），改名廣澤縣，隸屬連州。

仁壽元年（601），避太子楊廣名諱，改稱連山縣。

唐天寶元年（742）至乾元元年（758年）升為郡，隸屬嶺南道。

北宋隸屬江南西道連州、廣南東路連州。

南宋紹興六年（1136）廢縣為鎮(zhèn)，紹興十八年（1148）復(fù)縣并移治程山下（今福堂永豐司城街），改稱程山縣。

元至元十五年（1278）復(fù)治古縣坪，復(fù)稱連山縣，屬江西行省湖南道連州。

明永樂元年（1403）再遷程山，隸屬廣東布政使司廣州府連州。

清朝以后隸屬廣東省，嘉慶二十一年（1816）升為綏瑤直隸廳。

1912年復(fù)為縣；1946年遷治永和，其間先后隸屬嶺南道、北區(qū)善后公署、第二行政督察公署；1949年中華人民共和國成立后，隸屬北江人民行政督察專員公署、北江區(qū)行政督察專員公署。

1953年1月，與連南合并成立連南瑤族自治區(qū)，隸屬粵北行署。

1954年1月恢復(fù)連山縣建制。

1958年12月，與連縣、連南、陽山合并成立連陽各族自治縣。

1960年10月恢復(fù)陽山縣后，連陽各族自治縣改稱連州各族自治縣。

1961年10月，撤銷連州各族自治縣，恢復(fù)連山縣，設(shè)立連南瑤族壯族自治縣。

1962年3月，撤銷連南瑤族壯族自治縣，恢復(fù)連南瑤族自治縣、連山壯族瑤族自治縣。

1962年9月26日，連山壯族瑤族自治縣正式成立，屬韶關(guān)地區(qū)管轄；1983年6月，韶關(guān)地區(qū)與縣級韶關(guān)市合并成立韶關(guān)市，隸屬韶關(guān)市；1988年1月7日，成立清遠(yuǎn)市，劃歸清遠(yuǎn)市管轄。