一、村民委员会
1961至1984年淮北市改社建乡。市农村的自治组织为生产大队，每个大队下辖若干生产队。1982年12月后，按照新宪法规定，农村按村民居住地区建立村民委员会，并明确为群众自治组织。1983年下半年至1984年上半年的改社建乡中，以原生产大队或自然村为基础，建立村民委员会。1985年，市辖三区有村民委员会102个。村委会设主任、副主任各1人，委员若干人，由村民代表选举产生。下设民政、调解、治保和经济建设4个工作委员会。村委会主要成员有一定的生活补贴，其余为义务职。每个村委会都建有村党支部，设有正副书记，支部委员若干人，但主要负责人不再兼村委会职务，党政因而分开。村委会下按原生产队范围设若干村民小组，设正、副小组长和会计。村委会的主要任务是协助乡政府完成有关政务，维护社会治安，参与综合治理，负责计划生育，调解民事纠纷，组织村民办理本村各项公益事务。村委会大多订立村民公约，并加强宣传教育，号召村民自觉遵守，定期检查执行情况。
1988年《中华人民共和国村民委员会组织法》试行，我国农村基层组织管理体制发生了重大变革。为了加强领导，1990年4月，市政府成立了市基层政权建设领导小组。从1988年至1991年3月，整个实施过程，按照宣传发动、民主选举、制定制度3个阶段进行。到1991年9月，已依法整建村委会429个，占总数58%，村民小组3003个，占总数56.9%。至1992年10月下旬，杜集区91个行政村，依法建村91个，达100%；烈山区15个行政村，依法建村15个，达100%；相山区28个行政村，依法建村4个，占14%。1992年12月19日，省人大常委会颁布《安徽省实施〈村民委员会组织法〉办法(试行)》，依法治村工作随之进入了一个新的阶段。
二、居民委员会
初建市时，淮北市即在矿区、城镇居民集中地区，设立了居民委员会，并依照1954年12月的《城市居民委员会组织条例》，加以建设。据1963年统计，全市有26个居民委员会，至1964年调整为15个，至1966年又扩大到18个居委会。“文化大革命”期间，居委会工作处于半停顿状态。
1979至1982年，淮北市对居委会进行整顿。经过整顿调整，各居委会在法制宣传、维护社会治安、调解民事纠纷、举办公益事业、开展思想品德教育等活动中，逐步显示出基层群众性组织的特殊作用。至1982年底，已有居民委员会115个，居民小组815个。
1989年，淮北市以贯彻实施《居民委员会组织法》为契机，开始依法建设居委会工作。整建工作，由市政府统一领导，以区为单位，由民政部门和街道办事处具体负责。全市整体安排分3个步骤：提高认识，认真组织居委会干部和有关人员学习《居委会组织法》等有关事项。宣传发动群众，充分利用广播、电视、黑板报、墙报、传单的形式，广泛宣传《居委会组织法》。先行试点、以点带面，各居委会均经过民主选举，产生了新的居委会，并且组成了治安、卫生、调解、妇女、社区服务等专门工作委员会。
1990年，新的居委会在城市建设中做了大量工作，动员居民开展“五好家庭”、“文明楼院”、“拥军优属”和机关、厂矿创建“文明单位”活动；并在丰富离退休人员和居民群众的物质文化生活，照顾烈军属，关心孤老和残废人，兴办社会服务项目，绿化、美化居民区，协助人民政府做好城市建设和管理工作方面，发挥了重要作用。新的居委会协助公安司法机关严厉打击刑事犯罪活动，参加社会治安综合治理，开展法制宣传教育，组织群众开展治安联防活动。调解民事纠纷，说服教育失足青年和劳改、劳教释放人员，促进了社会治安和社会风气的好转。新居委会还认真宣传党的路线、方针和政策，动员居民群众响应人民政府的号召，及时向人民政府反映居民群众的意见、要求和建议，密切了政府和人民群众之间的关系。据1992年统计，全市有居民委员会141个，居民小组714个。
1992年10月15日，淮北市召开了全市先进街道办事处、模范居委会和优秀居委会主任表彰会。表彰了模范居委会13个和优秀居委会主任16名，分别颁发了《荣誉证》，并推选模范居委会和优秀居委会主任参加全省先进街道办事处、模范居委会和优秀居委会主任表彰大会。