清属融县和罗城县地。
民国元年（1912年），保合。
四合、三江属融县四安乡，东田、荣地、荣塘、九溪属融县荣安乡，永靖、永安、江潭属罗城县怀宝乡。
民国三十六年（1947年），四安乡、荣安乡合并为四荣乡，属融县。
1952年8月，罗城县怀宝乡和融县四荣乡划归大苗山苗族自治区（县级）管辖，并设四荣、安太、安陲3个区。
1958年9月，属山鹰公社。
1959年5月，山鹰公社撤销，分设江门公社和香粉公社。
1962年7月，撤销江门、香粉两个公社，恢复四荣区。
1968年12月，四荣区改为四荣公社。
1984年7月，四荣公社撤销，划出金兰、都郎（原和平分出）、大方、新平、香粉、古都、雨卜等7个大队设立香粉乡；其余10个大队设四荣乡。