合肥古为淮夷地，商代称虎方，西周称夷虎。
春秋战国时期，先属楚，后属吴、属越，再后又属楚，终为秦兼并。
秦始皇二十六年(前221)，废分封，立郡县，属九江郡。
西汉高祖元年(前206)，项羽在九江郡地置九江王国。高祖四年，改九江王国为淮南王国。汉文帝六年(前174)，改淮南王国为淮南郡；十二年，复将淮南郡改为淮南王国。汉武帝元狩元年(前122)，改淮南王国为九江郡，辖合肥等县，合肥县名始见于此。汉武帝元封五年(前106)，置十三州，合肥县属扬州九江郡。
东汉光武帝建武元年(25)，改合肥县为合肥侯国。汉献帝建安五年(200)，废合肥侯国，复改为合肥县，扬州治合肥。
三国时，合肥县属魏国淮南郡，为扬州治。
西晋武帝太康元年(280)，改九江郡为淮南郡，合肥县属淮南郡。
东晋时，南北分裂，合肥为双方争夺的重镇，县废。
南朝宋置南豫州，于旧合肥县地置汝阴县。汝阴属南豫州南汝阴郡，为郡治。梁武帝天监五年(506)改属汝阴郡。梁武帝普通七年(526)，以寿阳置豫州，汝阴为南豫州治。梁武帝太清元年(547)，置合州，汝阴属合州汝阴郡，为州、郡治。北周宣帝大成元年(579)，合州为北周占领。
隋文帝开皇元年(581)，改汝阴县为合肥县，改合州为庐州，合肥属庐州，为州治。大业初，改庐州为庐江郡，合肥属庐江郡，为郡治。
唐高祖武德三年(620)，改庐江郡为庐州，合肥属庐州。唐太宗贞观元年(627)，置十道，合肥属淮南道庐州。唐玄宗天宝元年(742)，改庐州为庐江郡，合肥县属庐江郡。唐肃宗乾元元年(758)，又改庐江郡为庐州，合肥县属庐州。唐僖宗中和到唐昭宗天复年间(883～902)，杨行密先后为扬州刺史和吴王，辖合肥。
后梁到后唐(907～936)，合肥县属吴国庐州，昭庆军节度。后晋到后汉(936～950)，合肥县属南唐庐州，保信军节度。后周时(951～960)，合肥县属后周庐州，保信军节度。
北宋太宗淳化四年(993)，合肥县属淮南道庐州，为州治。宋太宗至道三年(997)，改道为路，合肥县属淮南路庐州，为州治。宋神宗熙宁五年(1072)，淮南路分东西两路，后并又分，合肥属淮南西路庐州，为州治。宋朝庐州属保信军节度。
南宋高宗绍兴初，庐州寄治巢县。绍兴十年(1141)，合肥为金占领，旋即收复。宋孝宗乾道五年(1169)，庐州仍治合肥。
元世祖至元十四年(1277)，升庐州为庐州路，隶淮西江北道，合肥属淮西道庐州路。至元二十八年，合肥县属河南江北行省庐州路。元泰定二年(1325)，合肥县仍属淮西道庐州路。元顺帝至正十二年(1352)，合肥县复属河南江北行省庐州路。至正二十四年，朱元璋占庐州，改路为府，置江淮中书行省于此，合肥县属江淮行省庐州府，不久改属江浙行省庐州府，为府治。
明太祖洪武元年(1368)，合肥改属中书省直隶庐州府，为府治。洪武十三年，合肥改属六部直隶庐州府，为府治。明成祖永乐十八年(1420)置南京直隶，合肥属南京直隶庐州府，为府治。
清顺治二年(1645)，改南京直隶为江南省，合肥县属江南省庐州府，为府治。顺治十八年，设江南左右布政使司，江南左布政使司辖庐州等府、州。清康熙六年(1664)，江南左布政使司改为安徽布政使司，安徽正式建省，合肥县属安徽省庐州府。清咸丰三年到十一年(1853～1861)，安徽巡抚治于合肥。
民国元年(1912)，庐州府废，合肥县直属安徽省。民国3年，全省分为三道，合肥县属安庆道。民国17年，废道，合肥县直属安徽省。民国21年，置行政督察区，合肥县属安徽省第三行政督察区。民国29年，合肥县改属安徽省第二行政督察区。民国34年，抗日战争胜利，安徽省省会从立煌(今金寨)迁到合肥。1949年初，合肥解放，先后析合肥县地置肥西县、肥东县和合肥市。
1949年2月1日，合肥市人民政府成立，合肥为江淮解放区直辖市。1949年4月，皖北行署设在合肥，合肥为皖北行署直辖市。1952年4月皖北、皖南行署合并后，于8月成立安徽省人民政府，合肥为省会、省辖市。