灰埠原属建成县的管辖范围。
唐武德五年（622）建成县改名高安县，灰埠属高安县管辖。
中华人民共和国成立前，灰埠地区除钧山、荷山属二区的枧溪乡管辖外，其余皆属三区所辖。
当时的新德乡设在灰埠圩典堂，下辖11个保，71个自然村，115个甲；文治乡设在卢圩完公庙，下辖7个保，32个自然村，66个甲；六合乡设在五里谌村天王庙，下设9个保，57个自然村，102个甲；凤岭、铜塘属三区德义乡所辖。
1949年前，灰埠除钧山、荷山属二区的枧溪乡管辖外，其余皆属三区管辖。
1951年4月缩小乡范围，属五区，管辖沙洲、锦洲、锦江、银树、灰埠、希岭、五里等乡。
1956年5月(合作化时期)合并乡，属灰埠区，管辖灰埠、五里、锦洲3个乡。
1958年8月，实行人民公社建制，属东风公社（一部分属超英公社）。
1961年6月，设区划社，属灰埠区，划分为灰埠、五里、卢圩3个公社。
1964年4月，撤区扩社并队，又合并为灰埠公社。
1984年3月，改公社为乡镇，改为灰埠乡。
1985年6月撤销灰埠乡，设立灰埠镇至今。