民國三年（1914年）屬中區(qū)，民國十九年（1930年）屬第八區(qū)。
1949年屬第六督導(dǎo)區(qū)。
1950年屬第一區(qū)。
1953年屬第八區(qū)。
1958年公社時(shí)代，取名涼山大隊(duì)，屬孫家壩公社管轄。
1981年涼山大隊(duì)屬孫家壩區(qū)的涼水井公社管轄。
1984年社改鄉(xiāng)，將原城關(guān)區(qū)的河?xùn)|、磨溪、龍江，鸚鵡溪區(qū)的關(guān)口、孫家壩區(qū)的涼水井、磨石溪、息樂溪7個(gè)鄉(xiāng)劃歸涼水井區(qū)，建立涼水井鄉(xiāng)、息樂溪鄉(xiāng)、磨石溪鄉(xiāng)、磨溪鄉(xiāng)、關(guān)口鄉(xiāng)5個(gè)鄉(xiāng)，涼山村屬?zèng)鏊畢^(qū)的涼水井鄉(xiāng)管轄。
1992年2月，貴州省人民政府批準(zhǔn)思南縣進(jìn)行“建鎮(zhèn)并鄉(xiāng)撤區(qū)”工作，同年10月，撤銷涼水井苗族土家族鄉(xiāng)、息樂溪土家族苗族鄉(xiāng)、磨石溪土家族苗族鄉(xiāng)、磨溪鄉(xiāng)、關(guān)口土家族苗族鄉(xiāng)，合并建立涼水井鎮(zhèn)，轄原三個(gè)鄉(xiāng)的共30個(gè)行政村，涼山村屬?zèng)鏊?zhèn)管轄。
2007年4月，縣人民政府下達(dá)《關(guān)于撤小村并大村整合的批復(fù)》，全縣開展撤小村并大村工作，把全縣561個(gè)村合并成168個(gè)村，涼水井鎮(zhèn)轄關(guān)口、水晶、磨溪、張家坳、息樂溪、謝家寨、涼水井、胡家莊、磨石溪9個(gè)行政村，其中，涼水井村由茶山村、紅巖底村、涼山村合并而成。
2010年11月16日，思南縣人民政府批準(zhǔn)調(diào)整全縣行政區(qū)劃，同意思唐鎮(zhèn)等27個(gè)鄉(xiāng)鎮(zhèn)行政村（社區(qū)）調(diào)整設(shè)置為行政村489個(gè)，社區(qū)37個(gè)。
涼水井鎮(zhèn)由原30個(gè)行政村調(diào)整設(shè)置為29個(gè)行政村，1個(gè)社區(qū)，涼山村屬?zèng)鏊?zhèn)管轄。