唐至清代均属太平乡，地跨光临里、清河里、安仁上中里。
民国初期为第四区。
1935年编查保甲设潘渡、贵安2个联保，属第一区署。
1940年改设潘渡乡和溪港乡。
1943年2月后两乡合并为潘溪乡。
新中国成立后设第四区。
1955年改潘渡区。
1958年7月撤区，分设潘渡、坡西、小沧3乡。
同年9月各自成立人民公社。
1960年1月三社合并为潘渡公社。
1961年6月析出小沧公社。
1972年1月赤石大队划属蓼沿公社。
1984年撤社建潘渡乡。
2020年6月28日撤乡设镇，调整后行政区域不变。