汉属合浦、苍梧2郡，置临允县属合浦郡。
三国吴属苍梧郡。
东晋析置新宁、晋康郡，新宁郡治临允。
南朝梁置新州治新兴、泷州治龙乡、建州治安遂，都城属广州。
唐开元十八年(730)复置勤州，移治富林;天宝元年(742)勤州改置云浮郡，为云浮名之始。
唐代新州、泷州仍之，都城改属康州。
明万历四年(1576)置罗定直隶州，其余属肇庆府。
1936年属第三行政督察区。
1949年后历属西江专区、肇庆市等。
1951年3月起云浮、罗定、新兴、郁南4县隶属西江专员公署，12月起隶属粤中行政公署。
1958年11月，云浮县与新兴县合并称新云县，罗定县与郁南县合并称罗南县，隶属江门专员公署。
1959年1月，罗南县改称罗定县，4月，新云县改称新兴县，均隶属江门专区。
1961年10月，恢复罗定县、郁南县、云浮县、新兴县建制，先后隶属肇庆专员公署和肇庆地区行政公署、肇庆市（地级）。
云浮市设立于1994年4月，隶属广东省人民政府。
管辖云城区、云安县（2014年9月改称云安区）、新兴县、郁南县、代管罗定市（县级）。
自命名后沿用至今。