今日潜山县境，周时，为皖国所辖，皖国都城就在今潜山县城。春秋时，皖国被楚国所灭，成了“楚之东鄙”。秦属九江郡。楚汉之际，项羽将其划属衡山国，汉高祖又将基划属淮南国。后，汉文帝分淮南一为淮南、衡山、庐江三国，皖地划属其时衡山国境。汉景帝四年（前153），移江南的庐江国王来此为衡山国王，至汉武帝元狩元年（前122年），因衡山王反，乃废其国而置庐江郡。庐江郡辖有皖县，其时的县域约含今日潜山、怀宁、望江、太湖、宿松5县地及岳西县东南部分区乡。皖县城址即今日潜山县城。
东汉献帝初平末（公无193年），庐江太守陆康为远避袁术势力，将庐江郡治迁至皖县城。此后，袁、曹、孙三家交替据有此地，皖城遂成兵争的重镇。
三国时期，皖县是吴庐江郡的附郭县。
西晋沿用庐江郡皖县旧制，但将郡治迁回顾舒县。直至东晋元兴三年（404年），今日潜山县仍是庐江郡皖县辖地。
自东汉初来末，至西晋泰治初（265年），今日潜山县城为庐江郡治，计72年。