夏末商初，今亳州市北境为成汤“南亳”之地（注）。
周初，属焦国。春秋时期改属陈国，境内有焦、夷二邑（焦邑故址在今亳州城内，夷邑故址在今城东南城父集）。周襄王十五年（前637）秋，楚伐陈，取焦、夷二邑。周景王十二年（前533），楚迁许国于夷邑。周景王十七年（前528），改焦邑为谯邑。
秦，设谯县，谯县城为其治所。先后隶砀郡、泗水郡。
西汉末，改谯县为延成亭，隶吾符（原沛郡）。
东汉，谯县隶豫州刺史部之沛国，豫州刺史部治于谯。城父县改隶汝南郡。建安后期，分沛国，置谯郡，谯县为其属县并为郡治。
三国时期，为魏地谯郡之属县。魏黄初二年（221）因谯县为曹魏皇室本籍，改谯县为“陪都”，与长安、许昌、洛阳、邺并称“五都”。
晋，谯县仍为谯郡治所。
南朝宋，侨置陈留郡，改谯县为小黄县，改城父县为俊仪县，治小黄县。北魏正始四年（507）置南兖州，兼置陈留郡，治小黄县。
北周建德六年（577），南兖州设总管府，治小黄县。大象元年（579），因其地古为商汤“南亳”故域，遂改南兖州为亳州，兼置陈留郡。小黄县为其治所。
隋开皇元年（581），废总管府与陈留郡。十六年（596）析小黄县一部置梅城县（治所在今亳州城西南梅城集）。大业三年（600，改小黄县为谯县，撤梅城县，其辖地并入谯县。改亳州为谯郡，谯县与谷阳、城父、山桑、临涣、永城、酂为其属县。
唐武德四年（621）改谯郡为亳州。武德五年（622）在亳州置总管府，辖谯、宋、颍、沈、亳等州。开元元年（713），把全国地位重要、经济繁荣的州定为“望”，亳州为全国“十望”之一。天宝元年（742）二月，改亳州为谯郡。乾元元年（758），改谯郡为亳州。建中二年（781），亳州为宣武军节度使，谯县为驻地。
五代时期，亳州先后置宣武军、防御州、团练州，均驻于谯县。
北宋大中祥符七年（1014），亳州升为集庆军，置节度使。
元代，亳州改隶河南行中书省归德府。至正十五年（1355）二月，刘福通起义拥立韩林儿，以亳州城为都。
明洪武初降亳州为亳县，隶凤阳府之颍州。弘治九年（1496），改亳县为亳州，改隶凤阳府。
清顺治二年（1645）始，亳州仍隶凤阳府。雍正二年（1724），亳州升为直隶州，辖太和、蒙城两县。雍正十三年（1735），亳州降为散州，改隶颍州府，太和、蒙城亦归颍州管辖。同治三年（1864），析亳州东乡十三保入新设的涡阳县境。
民国元年（1912），改亳州为亳县，隶安徽省凤颍六泗道（后改名为淮泗道）。民国28年（1939）4月底，日本侵华军攻陷亳县城，县政府南迁古城集。翌年4月，中国共产党在观堂、刘集、泥店一带，建立了人民抗日政府——涡北办事处；后改称亳具抗日民主政府。抗日战争胜利后，境内两种政权并存：国民党控制城关。城郊和交通要道，共产党在边远农村先后建立了雪（水）商亳、商亳鹿柘、鹿亳太（亳县）、雪涡、涡亳等边区县级革命政权。
民国37年（1948）2月，亳县全境解放。8月，中共豫皖苏二地委设亳州市，辖城关及郊区一带。第二年2月，根据中共中央《关于在全国解放区行政管辖省县原边归界的指示》，撤销临时政权建制，建立亳县（民主）政府，隶皖北区行政公署阜阳专员公署。
1950年10月，亳县县政府更名为亳县人民政府。1952年8月隶安徽省阜阳专区。1956年6月，改称亳县人民委员会。1968年8月19日，建立亳县革命委员会。1980年9月撤销亳县革命委员会，恢复亳县人民政府。1986年3月，经国务院批准，改亳县为亳州市（县级），隶安徽省阜阳地区。
注：关于商成汤的初都位置问题，在历史上主要有3种分歧意见：主“西亳”说者认为成汤初都当在今河南省偃师县附近；主“北亳”说者认为成汤之初都当在古定陶一带（今山东省曹县境内）；主“南亳”说者认为成汤初都当在今河南省虞城县谷熟集西南45里（或曰35里）。今从“南亳”说，大体今之北部市境以及其他地域为“南亳”之地。