颍上历史悠久。据南照镇铜台孜发现的陶、石器等物考证，此地为新石器时代遗址。至迟在原始社会晚期，这里已有人类聚居。
按其沿革，远在夏商时代，属豫州。周为“慎邑”，属楚国。秦为“慎县”，属泗水郡。汉高祖初，“慎”属楚王韩信封邑，信被诛，置汝南郡。武帝置13州刺史部，“慎”属豫州部汝南郡。新莽改“慎县”为“慎治”，汝南为汝汾。东汉复为“慎县”，属汝阴郡。三国时，魏景初二年(238年)划属汝阴郡。晋怀帝时，中原大乱，晋豫州淮北地区被北方石赵夺去，“慎县”属扬州管辖。东晋永和五年(349年)收复，仍属豫州汝阴郡。南北朝属宋地，把山西雁门旧县侨置慎地，名为“楼烦令”(按《宋书》郡县均带官名)，属豫州刺史、西汝阴太守。将“慎县”置于南汝阴郡合肥以东，后避讳称梁县(今肥东县梁园镇)。齐仍为楼烦，属汝阴郡。永元二年(500年)，没于元魏，属扬州。梁武帝六年(507年)，设置下蔡、楼烦、宋3县。下蔡、楼烦共为下蔡郡，属豫州。宋县(今南照集以北和阜南县东部)，属汝阴、弋阳2郡。东魏以下蔡、楼烦共为下蔡郡，属扬州。北齐以下蔡、楼烦属扬州汝阴郡。陈楼烦县没于北周，属同北齐。
隋大业二年(606年)，楼烦县改名颍上县，当时并有原下蔡(今凤台西南一带)、楼烦(慎地)2县的辖地，属豫州汝阴郡。唐朝，属河南西道，颍州汝阴郡。乾元元年(758年)，复属颍州。赵宋初年，属京西北路，顺昌汝阴郡。南宋绍兴三十一年，即金世宗大定元年(1161年)，金军占领顺昌，将顺昌改为颍州，辖颍上。金元光二年(1223年)，改属寿州府寿州。元代至元二年(1265年)，省颍上县入颍州，后复置颍上县，仍属颍州。至元三十年(1293年)，属河南江北行省汴梁路汝宁府颍州。明洪武四年(1371年)二月，属中都临濠府颍州。洪武六年(1373年)九月，属中立府颍州。洪武七年(1374年)八月，属凤阳府颍州。清代顺治初，属江南左布政使司凤阳府颍州。雍正二年(1724年)，升颍州为直隶州；十三年，又升颍州府，颍上均属其辖。
民国元年(1912年)1月，裁府留县，民国3年分道，属淮泗道。24年(1935年)废道设行政督察区，区下设县，属安徽省第七行政督察区。29年(1940年)8月，划属第三行政督察区。35年(1946年)属阜阳行政督察专员公署。
1947年，颍河以北的谢桥、龚集、江口、杨湖、夏桥一带，属共产党新四军领导的阚疃县民主政府。1948年2月，颍河以南属豫皖苏分局及豫皖苏边区第四分区，成立颍阜县民主政府。1948年4月，豫皖苏边区第六分区在颍河北岸设颍上县民主政府。1949年1月6日，颍上解放，恢复旧建置，成立颍上县民主政府。同年4月21日，划属皖北行署阜阳专员公署。1952年4月12日，皖南、皖北行政公署合并，成立安徽省，阜阳仍为专员公署，辖颍上。
1954年7月，成立颍上县人民委员会。1968年8月，“文化大革命”期间，改为颍上县革命委员会。1980年5月15日，复名颍上县人民政府至今。