民国三年（1914年）属中区，民国十九年（1930年）属第八区。
1949年属第六督导区。
1950年属第一区。
1953年属第八区。
1956年成立高级社，1958年公社时代，取名为联合大队，属鹦鹉溪公社管辖。
1961年撤销以区为公社的建制，将管理区改为公社，1963年联合大队属鹦鹉溪区的关口公社管辖。
1984年社改乡，将原城关区的河东、磨溪、龙江，鹦鹉溪区的关口、孙家坝区的凉水井、磨石溪、息乐溪7个乡划归凉水井区，建立凉水井乡、息乐溪乡、磨石溪乡、磨溪乡、关口乡5个乡，联合村属凉水井区的关口乡管辖。
1992年2月，贵州省人民政府批准思南县进行“建镇并乡撤区”工作，同年10月，撤销凉水井苗族土家族乡、息乐溪土家族苗族乡、磨石溪土家族苗族乡、磨溪乡、关口土家族苗族乡，合并建立凉水井镇，辖原三个乡的共30个行政村，联合村属凉水井镇管辖。
2007年4月，县人民政府下达《关于撤小村并大村整合的批复》，全县开展撤小村并大村工作，把全县561个村合并成168个村，凉水井镇辖关口、水晶、磨溪、张家坳、息乐溪、谢家寨、凉水井、胡家庄、磨石溪9个行政村，其中，水晶村由安山村、水晶村、南盆坡村、联合村合并而成。
2010年11月16日，思南县人民政府批准调整全县行政区划，同意思唐镇等27个乡镇行政村（社区）调整设置为行政村489个，社区37个。
凉水井镇由原30个行政村调整设置为29个行政村，1个社区，联合村属凉水井镇管辖。