榄溪为古地名，清代时为宽得都苦竹派约所属之20个村之一，沿用至今。
1952年5月，设立榄溪乡。
1958年10月，成立榄溪生产大队。
1961年4月，人民公社体制下放，榄溪一分为三，分别成立榄溪，沥口，江口三个生产大队。
1963年3月，人民公社规模调整，榄溪，沥口，江口三个生产大队合并，重新设立榄溪生产大队。
1983年9月，设立榄溪乡，另从原榄溪生产大队划出一部分成立江口乡。
1987年4月，改称榄溪村委会。
1989年12月，设立榄溪管理区，1998年11月，成立榄溪村委会。
2005年，榄溪、江口、黄坳三个村委会合并成新的榄溪村委会，沿用至今。