1960年，淮北市在基层政权建设上采取了人民公社的形式。1961年初，有人民公社1个，大队8个，生产队119个，5129户，18569人。是年5月，进行了调整，设郊区1个，公社3个，大队32个，生产队223个，5005户，18519人。人民公社实行公社管理委员会、生产大队、生产队三级管理，人民公社机关设置管理委员会和监察委员会。公社管理委员会下设农林水利、畜牧水产、工交、财贸、文教生活、人民部、科学技术委员会、办公室等，分别由公社管理委员会委员负责，并配备工作人员。公社管理委员会下辖若干生产大队，生产大队也设管理委员会，下辖若干生产队。
1968年8月，濉溪市革命委员会成立，各级基层政权也在原来名称上加上“革命委员会”、“革命领导小组”字样。至1981年4月，淮北市农村有14个人民公社，95个生产大队，1072个生产队。
1982年新宪法规定，乡(市辖区、镇)为基层政权。1983年10月，中共中央、国务院发出《关于实行政社分开建立乡政府的通知》，并规定建乡工作由民政部门办理。
1984年，淮北市进行了改社建乡工作，上半年完成了14个人民公社的体制改革。成立了14个乡，新设立了青龙山镇，并在原来生产大队的基础上，整建了102个行政村。改社建乡后，乡镇成立乡、镇人民政府，村设村民委员会。乡党、政、企在组织上分开，各有分工。乡镇设正、副乡镇长及1至2名助理员。乡镇长多由乡镇党委副书记兼任，助理员也多由党委成员担任。在改社建乡的同时，淮北市的行政区划又作了调整。1984年10月，烈山、杜集、高岳、朔里、毛庄、窦庄6乡依次改称烈山、矿山集、高岳、朔里、段园、石台6镇，并青龙山镇，至此淮北市有7个建制镇。同期原烈山乡之黄桥村、洪庄村、吴山口村的刘庄行政村划归青龙山镇。各镇设镇人民政府，实行镇管村、居委会的管理体制。1986年，任圩乡改称任圩镇，并实行镇管村的体制。为了加强基层政权建设，1988年11月7日至1989年1月21日，举办了正副乡镇长、书记培训班，培训52人。
1991年底，开始了撤区并乡工作。市、各(区)分别成立了专门工作机构，市委制定了“决心要大、工作要细、步子要稳、稳中求快、快中求好”的工作方针。至1992年将原来的15个乡镇合并为8个乡镇，又将濉溪县的土楼乡并入渠沟镇；濉溪县宋疃乡改设宋疃镇，划归烈山区管辖；撤销青龙山镇建制，划归烈山镇。通过撤并，使平均每个乡镇土地面积由原来的324平方公里增加到778平方公里。充实了乡镇干部编制，乡镇配备干部平均数由原来的7至8人增加到38人，加强了各乡、镇的力量。结合简政放权，除跨乡镇设置的目前暂不具备下放条件的单位外，将其他生产技术部门、科教文卫部门、监督协调部门、社会保障部门、土地管理部门等的人、财、物三权均下放给乡镇管理。实行条块结合，以块为主，并在市、区、乡(镇)逐级建立了农村社会服务体系，加大了乡镇的服务职能。健全了乡镇政府机构，乡镇都建立了农业、乡镇企业、文教卫、民政司法、计划生育等办事机构。通过撤并、简政放权，健全和完善了乡镇政府的职能，减少了管理层次，提高了乡镇政府的工作效率，减轻了农民负担，乡镇的经济实力得到了加强，乡镇驻地在当地形成了政治、经济、文化中心，有效地促进了经济的发展和小城镇的建设。