解放前矿区所在地九龙岗、大通和田家庵三镇，属怀远县管辖，八公山属凤台县管辖。1949年1月18日，淮南矿区解放。1949年2月5日，经中共中央华东局批准，从怀远、凤台等县划出部分地区，设立皖北淮南煤矿特别行政区，正式形成独立区划。建国初期的人民政府为巩固政权、医治战争创伤、争取国民经济迅速好转制订了一系列方针政策，在完善自身建设的同时，组织实施经济建设，以此带动了各项事业的发展。
1952年6月，经中央人民政府政务院批准，淮南矿区改设为地区级省辖市。此后，国家大规模经济建设开始，市人民政府在全市掀起建设热潮，工业项目纷纷上马，市政建设开始起步，各项文化教育事业得到迅速发展，一时间，淮南市成为全省瞩目的建设重点，经济规模不断壮大。在领导经济建设的同时，政府机构职能也得到加强。
1966年5月16日以后，随着“文化大革命”的开展，政府的处境愈来愈困难。1967年1月27日，市造反组织联合对市人民委员会进行“夺权”，成立以造反派为主的“淮南市无产阶级革命造反临时委员会”。之后，市人民委员会各工作机构及基层单位先后被“夺权”，在短期内完全瘫痪。经国务院批准，淮南市于1967年5月8日实行军事管制。但由于全国形势日益恶化，武斗加剧，全市处于无政府状态。同年8月，中国人民解放军6408部队的127部队奉命进驻淮南执行新的军管任务，派出大批部队干部到各区、局“支左”，使政府系统的基本工作不致中断，大部分煤矿、工厂尚能维持生产。
1968年3月，经安徽省军管会批准，成立由127部队干部、地方干部和群众代表相结合的市革命委员会，取代了市人民代表大会和市人民委员会，实行“党政一元化”的领导体制。中共十一届三中全会以后，重新确定了以经济建设为重心的方针，1980年12月，取消市革命委员会，市人民政府恢复，以发展经济为中心的施政方略初步奠定。随着改革开放的深入，通过经济体制改革，全市经济发展进入全盛期，依法行政得到加强，经济、社会发展进入良性发展轨道。