夏禹分天下为九州，本地属徐州。《元和郡县志》和《太平寰宇记》载，约公元前21世纪，商汤的十一世祖相土，由商丘东迁于此。此后，本地即为相，山即名为相山。
商如夏制，相地仍属徐州。约公元前十四世纪，商王河迁都相城。
周灭商后，周武王分封诸侯，以纣王兄微子启代殷，立国号宋，相属宋。
春秋时期，据《舆地志》、《括地志》载：公元前588年至公元前576年期间，宋共公瑕为避水患，将宋国国都由睢阳（今商丘）迁至相城，约历90年。战国时期（公元前286年），齐、楚、魏灭宋，尽分宋地，相归楚国。
秦统一六国，分天下为36郡。秦始皇三十三年（公元前224年）在相城和今临涣镇分设相县、铚县，同属泗水郡，相城为郡治所在地。
西汉高帝四年（公元前203年）改泗水郡为沛郡，治所仍在相。武帝元狩六年（公元前117年）封大将居翁为相城侯，沛郡为其侯国。宣帝地节元年（公元前69年）沛郡更为彭城郡。黄龙元年（公元前49年）复名沛郡，并在今濉溪县赵集孤山一带置竹县，属沛郡。
王莽篡汉后，尽易天下郡县名，相县改为吾符亭，竹县改称笃亭，沛郡改为吾符郡。
东汉建武二十年（公元44年）光武帝刘秀封其子刘辅为沛王，改吾符郡为沛国，改吾符亭为相县、笃亭改为竹邑侯国。沛国国都仍在相县。
献帝建安二十四年（219年），曹操析沛国置谯郡（今亳州市），铚县属谯郡。相、符离、竺邑仍属沛国。三国时，本地皆属魏，竹邑侯国改为竺邑县。魏明帝景初二年（238年）分沛国另设汝阴郡，今地皆属之。
西晋太康二年（281年），复置沛国，领相、符离、竺邑三县，都相县。铚县仍属谯郡。
东晋沛郡治所迁至萧县。大兴二年（319年）晋室南渡，本地属后赵；升平元年（357年）属前燕；太和五年（370年）属前秦；太元八年（383年）复属东晋。
南北朝时，战争频仍，归属屡有更易。宋永初元年（420年）沛国复称沛郡，并分为南北两郡，本地属徐州北沛郡。元嘉八年（431年）置南兖州，皆相县故地。竺邑县废。大明八年(464年)，北魏拓跋氏强盛，本地皆入北魏。梁武帝普通六年（525年）置临涣郡，郡治铚城。原沛郡亦属梁萧。东魏武定五年（547年）析临涣郡置白掸县和涣北县。本地诸县分属沛郡、蕲城郡、临涣郡。北齐天保元年（550年），复置竹邑县，废临涣郡和涣北县，置临涣县。天保七年（556年）废相县，并入符离县。自此，相城降为相城乡，再无县以上建置。本地分属彭城郡承高县（今萧县），仁州之竹邑县、符离县，谯郡之临涣县、白掸县。
隋开皇三年（583年），竹邑县废，并入符离县。开皇九年（589年）符离县属彭城郡。大业元年（605年）白掸县并入临涣县。本地分属彭城郡萧县、符离县、蕲县和谯郡临涣县。
唐初，本地分属徐州之萧县、符离县、蕲县和亳州之临涣县。武德四年（621年）析符离县置诸阳县。贞观元年（627年）废诸阳县复入符离县。元和四年（809年）以徐州之符离县、蕲县、泗州之虹县置宿州。元和九年（814年）析亳州之临涣县属宿州。本地分属徐州之萧县，宿州之符离县、临涣县、蕲县。
五代时，隶属与唐代略同。
北宋建隆元年（960年），宿州升为防御。开宝元年（968年）为保静军节度，属淮南路。熙宁五年（1072年），分属淮南东路。元丰五年（1082年）徐州分属京东西路。本地分属淮南东路宿州之符离县、临涣县、蕲县，京东西路徐州之萧县。南宋时，长淮以北沦为金地，本地分属南京路宿州防御之符离、临涣、蕲县，山东西路徐州武宁军之萧县。
元初，本地分属河南行省归德府徐州之萧县，宿州之符离县、临涣县、蕲县。至元二年（1265年）撤符离、临涣、蕲县，并入宿州，本地分属徐州之萧县和宿州领辖。
明洪武四年（1371年），本地分属中都临濠府宿州和徐州之萧县。洪武七年（1374年），中都临濠府改称凤阳府。洪武十四年（1381年）改徐州直隶京师。本地分属凤阳府之宿州和南京徐州之萧县。
清顺治二年（1645年），置江南省布政使司，本地分属江南省徐州之萧县和凤阳府之宿州。顺治十八年（1661年）江南省分设左右布政使司，本地分属左布政使司凤阳府之宿州和徐州之萧县。康熙六年（1667年）改设江苏省、安徽省。雍正十一年（1733年）升直隶徐州为徐州府，本地分属江苏省徐州府之萧县和安徽省凤阳府之宿州。
中华民国元年（1912年）废除府州建制，本地分属安徽省宿县和江苏省萧县。
民国3年(1914年)置道，本地分属安徽省淮泗道之宿县和江苏省徐海道之萧县。民国16年废道，本地复归安徽省之宿县和江苏省之萧县。民国24年，成立行政督察区，本地分属安徽省第六行政督察区（后改第四区）之宿县和江苏省铜山行政督察区之萧县。
民国27年（1938年），本地被日本侵略军占领。民国31年，日伪政权以江苏省之徐州为中心，设置伪淮海省，本地属之。抗日战争时期，在国民党政权、抗日民主政权、日伪政权同时并存的情况下，三者在本地皆有活动，政区设置较为复杂。
民国34年（1945年）日本侵略军投降，国民党县政权只辖县城及附近地区，边远地区则为共产党领导的人民政权所控制。本地曾先后归属宿西县、萧宿永县、萧宿县等人民政权。
民国37年（1948年）11月，本地相继解放，分属豫皖苏第三专区之宿西县和萧县。民国38年6月，本地分属华东局皖北行政公置宿县专区之宿县和萧县。
1949年10月1日，中华人民共和国成立。本地分属皖北行政公署宿县专区之宿县和萧县。
1950年7月1日，析宿县西境置濉溪县，本地分属皖北行政公署宿县专区之濉溪县和萧县。
1953年2月，本地分属安徽省宿县专区之濉溪县和江苏省徐州专区之萧县。
1955年4月，本地分属安徽省宿县专区之濉溪县和萧县。
1956年1月，本地分属安徽省蚌埠专区之濉溪县和萧县。
1960年4月6日，经国务院批准，建立濉溪市。
1971年4月2日，濉溪市更名为淮北市。