史前时期蚌埠地域为淮夷族聚居区。
春秋战国时期今市区和三县曾分别为徐方、鲁、宋、吴、越、楚等国分领。
秦统一后，经历1400余年至宋代，全地域一直未有郡、国、州所辖的县分领。
至南宋宝祐五年（1257）始，在今怀远县地置怀远军，辖荆山县。
咸淳七年（1271）始在今五河县地置淮安军，辖五河县。
元至元二十八年（1291），改怀远军为怀远县，撤销荆山县。
自此，新建的五河县、怀远县一直延续，而今蚌埠市、固镇县经历元、明、清诸朝仍属周围县所分领。
清同治二年（1863），划凤阳县马村沟以西、怀远县席家沟以东、灵璧县后楼为蚌埠独立行政区，置三县司，直属安徽省凤阳府。
但中华民国建立后（1912）即撤销，蚌埠仍属凤阳分领。
由于津浦铁路通车后，蚌埠成为皖北重要商埠，1947年1月，经南京国民政府批准，蚌埠正式建市，直属安徽省管辖。
1949年新中国建立后，怀远、五河2县属皖北行署（后为安徽省）宿县专区（一度为蚌埠专区）所辖。
1983年7月，怀远、固镇、五河县一并由宿县专区（1971年专区改地区）划属蚌埠市，至今未变。