一、居民委员会淮南建市后，市区下设街，街下划分若干居民小组，厂、矿职工居住集中地区，按职工住宅区设居民村，村下设居民小组。居民小组长由选举产生，协助政府办理居民有关行政、公益、福利和调解纠纷等事项，但由于组织不健全，工作较混乱。
1954年11月至翌年4月，淮南市抽调干部组成试建居民委员会工作组，先后在田家庵、大通、八公山3个市辖区，试建了11个居委会。到1955年底，全市共建居委会71个，辖居民小组1082个，民主选举正、副主任172人，委员956人。居委会下设社会福利、治安、消防、文教卫生、调解等工作委员会，工房区增设团结保勤工作委员会，各工作委员会一般由5～7人组成，主任、副主任由群众民主选举产生，委员从居民小组长和积极分子中聘请。
1958年，市区扩大，人口增加，先后增设了10个居委会，全市居委会达81个，有正、副主任196人，委员1082人。1960年市区建立人民公社，下设分社、街道委员会及生产队，居委会组织被替代。其组织系统在工矿区为：公社—分社—大队—小队（相当于原居委会）—组(幢)；在街道居民区为：公社—分社—居民段（相当于原居委会）—居民组。
1963年上半年，撤销城市人民公社，重建居委会组织，在1960年市区居委会设置的基础上，调整设置居委会115个，有正、副主任308人。下设社会福利（含团结、保勤、优抚）、治安保卫（含消防）、文教卫生、妇女、调解等工作委员会，按工作量大小工作委员会由5～11人组成，正、副主任一般由居委会委员兼任。居委会普遍建立了工作、学习、会议、生活等制度。
“文化大革命”期间，居委会工作处于半停顿状态，1977年后逐步恢复。随着城市的发展，居委会管辖的户数、人数不断增长。1981年，全市183个居委会中，超过1000户的11个，600～1000户的105个。
1985年，全市居委会增至188个，正、副主任达451名。1987年上半年，认真妥善做好新老居委会主任交替工作，新选聘居委会主任199名，居委会干部的文化程度、年龄和政治素质有所改善，平均年龄在55岁以下，其中40岁以下占31%，最低具备小学文化程度，初、高中文化程度的占53%。修订了居委会的职责范围和居委会主任岗位责任制。1988年对新聘用的居委会主任进行了轮训。
1990年底，全市268个居委会配正、副主任580名，居民小组长2324名，建立健全了治安、调解、妇女、卫生、社会福利工作委员会，共有委员6204名。
二、村民委员会
1984年1月，实行政、社分开，重建乡人民政府以后，市郊各乡按原生产大队或自然村为区域，建立村民委员会。村民委员会是群众性自治组织，村民委员会设村长、副村长和委员5～7人，下设治安保卫、人民调解、公共卫生等工作委员会，各委员会主任大都由村民委员会委员担任。村民委员会下，以原生产队为单位设若干村民小组，村民小组设正、副组长各1人。村民委员会和村民小组的成员由村民选举产生。
1985年市郊共有村民委员会266个，村委会干部1321人，建有村民小组2502个。各村民委员会普遍制定了村规民约，促进了农村的社会主义精神文明建设。
1988年，在田家庵区洞山乡江陈村和凤台县董岗乡大郢村进行试点，民主选举，健全组织，制定《村规民约》。尔后区、县亦各自进行试点。
1990年底，全市（含凤台县）556个行政村，贯彻实施《村委会组织法》的达253个。