南朝刘宋元嘉十三年（436），划南海郡四会县银屯乡设立，属绥建郡。
隋开皇九年（589）至大业十三年（617）怀集县属南海郡。
元至元十五年（1278），怀集县改隶湖广中书行省贺州；明洪武九年（1376）改隶广西梧州府；清光绪三十四年（1908），改隶广西平乐府；1912年改隶广西梧州府；1934年隶属广西平乐督察专员公署；1951年5月由广西省西江专员公署代管；1952年3月，属西江专员公署；同年12月属粤中区行政专员公署；1956年2月属高要专员公署；1959年开建县并入称怀建县，属江门专员公署；1961年4月分出开建县，隶属肇庆专员公署；1968年3月属肇庆市地区革命委员会；1979年3月属肇庆地区行政公署；1988年1月，属肇庆市管辖，沿用至今。