春秋战国时，先后属吴、越、楚。
秦始皇24年（前223）始设延载乡，唐时改称鹊江镇。
南唐升元年间置县治，时称繁昌县。
明英宗天顺元年（1457）县城迁至金峨岭下，古城址改为旧县镇，1958年更名为新港镇，2003年12月，城关镇、新港镇、横山镇、马坝乡、高安乡合并为繁阳镇。
2006年繁昌县增设新港镇，原新港镇和高安乡划出组建新港镇，2009年将新港镇的高安、义合、矶山、草山、裕民、白象6个村委会和泥埠居委会划归三山区三山街道管辖，沿用至今。