史前时期，蚌埠地域上居住的淮夷氏族，已过着农耕渔猎的生活。相传原始社会末期，今蚌埠地域东部曾建立钟离古国，西部曾建立涂山古国。至春秋战国时期，先属鲁，继属吴，再属越，后属楚地。后经历代演变，至民国36年(1947年)1月设市，直属安徽省所辖。
一、秦至南北朝时期
公元前221年，秦王朝实行郡县制后，今蚌埠地域分属九江、泗水两郡。其东部(今凤阳县境内)设钟离县。
汉高祖四年(前203年)，今蚌埠淮河北归属沛郡，淮河南归属淮南国。武帝元狩元年(前122年)淮南国复改为九江郡，并在蚌埠西部(今怀远县境内)设置当涂县。
王莽新政时期(公元8～23年。以下省略“公元”二字)，今蚌埠地域淮河北更属吾符郡，淮河以南更属延平郡，并将钟离县改为蚕富县，当涂县改为山聚县。东汉光武帝建武二十年(44年)，今蚌埠地域淮河以北为沛国所辖，淮河以南为九江郡所辖；东、西部各复改为钟离县、当涂县。
三国时期，今蚌埠属魏地。魏文帝黄初二年(221年)，淮河以北隶于谯郡；魏明帝青龙元年(233年)，废钟离、当涂二县，淮河以南隶于淮南郡。
西晋武帝太康元年(280年)，实行州、郡、县三级地方制，今蚌埠淮河以南属扬州，为淮南郡所领，并复立钟离县；淮河以北属豫州，为沛国所领。
东晋百余年，战乱不止，蚌埠地域建置更迭频繁。淮河成为东晋王朝与北方少数民族角逐的界河。淮河北于东晋成帝咸和二年(327年)，为羯族石氏所建立的后赵所控制；晋穆帝升平三年(359年)，又为鲜卑族慕容氏建立的前燕所占据，后于晋废帝太和五年(370年)，再为氐族苻氏建立的前秦所统辖。今蚌埠西部属当涂县，于东晋成帝年间侨置于江南；今蚌埠东部于东晋安帝年间设钟离郡，治燕县；西南设马头郡，治虞县。
南北朝刘宋后废帝元徽元年(473年)，淮河南岸钟离、马头两郡皆归徐州。南齐武帝永明六年(488年)，改徐州为北徐州，辖蚌埠东部钟离郡，治燕县；辖西部马头郡，治己吾县。南梁初期承南齐制，后期江淮州郡先后为东魏、北齐所取。东魏武定六年(548年)，蚌埠北部设连城县，为睢州所辖。武定七年(549年)，今蚌埠地域置楚州，治钟离城。北齐控制江淮时，将楚州更名为西楚州，州、郡同治钟离县；并在西部设荆山郡，治荆山城，领马头县。南陈宣帝太建五年(573年)，将西楚州改为北徐州，郡、县未变。至宣帝太建十一年(579年)，今蚌埠又为北周所占，北徐州复改西楚州。
二、隋至两宋时期
隋开皇二年(582年)，西楚州改为濠州；废荆山郡，马头县改为涂山县。大业三年(607年)，又将濠州改为钟离郡，领钟离、涂山县。今蚌埠北郊则属彭城郡谷阳县域。
唐武德三年(620年)，钟离郡复改濠州。武德七年(624年)，涂山县并入钟离县，为濠州所领。至开元二十一年(733年)后，今蚌埠淮河以南属淮南道监察，淮河以北属河南道监察。天宝元年(742年)，濠州再改为钟离郡。乾元元年(758年)，钟离郡又改为濠州。贞元四年(788年)，濠州隶属河南道监察。元和四年(809年)，置宿州，领今蚌埠淮河以北地区。
五代十国时期，今蚌埠淮河以北为宿州辖地，先后为后梁(907～923年)、后唐(923～936年)、后晋(936～946年)、后汉(947～950年)所统治；淮河以南为濠州辖地，先后为吴(907～937年)、南唐(937～958年)所占据。后周显德五年(958年)，夺取今蚌埠整个地区，淮河以北由徐州辖，淮河以南由濠州辖。
北宋元祐元年(1086年)，今蚌埠淮河北隶于新置灵璧县，为淮南东路宿州所辖；淮河以南只存钟离县，为淮南西路濠州所辖。宣和七年(1125年)，金兵南下陷汴京，取淮北，宿州初为山东西路领，至金大定六年(1166年)改属南京路。
南宋嘉定二年(1209年)，金兵渡淮攻取濠州。嘉定十二年(1219年)，宋军收复濠州，宋、金仍以淮河为界。今蚌埠淮河以南置钟离县，为淮南西路濠州所辖。宝祐五年(1257年)，蚌埠西部重置荆山县，为淮南西路怀远军所辖。咸淳七年(1271年)，今蚌埠东北置五河县，为淮南东路淮安军所辖。
三、元至民国时期
元，今蚌埠属河南行省政区。至元四年(1267年)，淮河北灵璧县改隶于泗州。至元十五年(1278年)，五河县改隶于临濠府，今蚌埠淮河以南地区尽属临濠府。至元十七年(1280年)，五河县划归泗州辖。至元二十八年(1291年)，临濠府改为濠州；废怀远军，改荆山县为怀远县，今蚌埠淮河以南皆属濠州钟离、怀远县境。
明洪武二年(1369年)，凤阳建中都，钟离县更名中立县，翌年再改名为临淮县。洪武六年(1373年)，撤中都设中立府。洪武七年(1374年)，中立府迁新城改名凤阳府，临淮县亦改名凤阳县；蚌埠西部仍为怀远县，东北为五河县。三个县明初均为中书省凤阳府所领。永乐元年(1403年)，凤阳府为南京直隶。
清初，凤阳府为江南省领。顺治十八年(1661年)，今蚌埠全境皆为江南左布政使凤阳府所辖。康熙六年(1667年)，凤阳府改隶于安徽布政使凤颍六泗道。雍正二年(1724年)，今蚌埠淮河以北从凤阳府划入泗州直隶州。同治二年(1863年)，划凤阳县马村沟以西、怀远县席家沟以东、灵璧县后楼一块属蚌埠，并首设独立行政机构三县司，脱离凤阳、怀远、灵璧三县，直属凤阳府。
民国元年(1912年)，蚌埠三县司废，河南岸改属凤阳县，置二区公署；河北岸小蚌埠属灵璧县，一直到民国35年。民国3年，恢复道制，蚌埠河南岸属安徽省淮泗道凤阳县辖。民国18年，蚌埠曾成立市政筹备处，但翌年即撤销，仍属凤阳县所辖。民国21年，凤阳县办自治区，蚌埠系其第七区。民国24年，蚌埠与三铺合为凤阳第二区。翌年，凤阳县被安徽省第四督察区所领，蚌埠受其辖。民国27年，凤阳县名义上为安徽省第九行政督察专员区所辖，因日军侵占，九区各县沦陷，凤阳由第五行政督察专员区兼管。
民国27年10月，日伪在蚌埠组建伪安徽省维新政府，凤阳县直属伪省维新政府管辖，伪县维新政府设于蚌埠。民国29年3月，伪安徽省维新政府更名伪安徽省政府，伪府仍设于蚌埠。民国33年，伪安徽省政府设8个行政督察区，蚌埠为凤阳县辖，隶属第一行政区，并为区治地。
民国34年8月抗战胜利，国民党军队李品仙部到蚌埠接防。11月，成立蚌埠市政筹备处，翌年接管市区行政。民国36年1月1日，蚌埠正式设市，为安徽省直辖市。
民国38年1月蚌埠解放，先属江淮解放区辖，4月皖北人民行政公署成立，蚌埠遂隶属皖北行署。
四、中华人民共和国时期
1952年8月，安徽省人民政府成立，撤销皖北行署，蚌埠市为安徽省直辖。1956年，安徽省置蚌埠专区，专员公署驻蚌。1958年11月起，蚌埠市隶属省和专区双重领导。1961年3月撤销蚌埠专区，此后至1985年，蚌埠市一直属安徽省直辖。