1914年属中区，1930年属第八区。
1949年属第六督导区。
1950年属第一区。
1953年属第八区。
1958年公社时代，取名王家山大队，属孙家坝公社管辖。
1981年王家山大队属孙家坝区的息乐溪公社管辖。
1984年撤队设王家山村属凉水井区的息乐溪乡管辖。
1992年2月，贵州省人民政府批准思南县进行“建镇并乡撤区”工作，同年10月，撤销凉水井苗族土家族乡、息乐溪土家族苗族乡、磨石溪土家族苗族乡、磨溪乡、关口土家族苗族乡，合并建立凉水井镇，辖原三个乡的共30个行政村，王家山村属凉水井镇管辖。
2007年4月，县人民政府下达《关于撤小村并大村整合的批复》，全县开展撤小村并大村工作，把全县561个村合并成168个村，凉水井镇辖关口、水晶、磨溪、张家坳、息乐溪、谢家寨、凉水井、胡家庄、磨石溪9个行政村，其中，张家坳村由冉家坳村、王家山村、张家坳村、大坪村合并而成。
2010年11月16日，思南县人民政府批准调整全县行政区划，同意思唐镇等27个乡镇行政村（社区）调整设置为行政村489个，社区37个。
凉水井镇由原30个行政村调整设置为29个行政村，1个社区，王家山村属凉水井镇管辖。