1949年5月4日宣城军分区成立后，根据皖南军区指示，着手建立民兵组织，区建民兵大队，乡设中队，村设分队或小队，全区组建民兵45920人。1951年增至57044人，其中基干民兵27498人。1952年秋，根据《民兵组织暂行条例》，乡建立民兵队部，下设分队和小队，2～5个小队编为1个分队，2～5个分队编为1个中队。县建立基干团，设团部，区设营部。基干民兵团除集中执行任务外，平时仍属乡部队建制。
1955年根据《兵役法》规定，预备役与民兵合二为一，原有民兵百分之八十以上属预备役。
1958年大办民兵师，实行全民皆兵。城乡、机关、学校、厂矿、企业，凡适龄的能拿枪的男女公民(成份不好者除外)都在民兵组织。县办民兵师，公社编为团，生产大队为营(连)，生产队为排，下设若干班。城市视单位人数多少，分别编成师、团、营、连、排、班。基干民兵和普通民兵不够编组的可混合编组。各级民兵干部由县党政军和公社领导兼任。公社武装部配专职武装委员，教导员由党支部书记兼任。区辖五县民兵达38万多人。
1962年贯彻《民兵工作条例》和毛泽东主席关于民兵工作“三落实”(组织落实、政治落实、军事落实)指示，对全区民兵进行组织整顿、武器调整，开展经常性的训练活动。
“文化大革命”期间，民兵工作遭挫折，但未间断。1969年5县均建立了民兵独立团，有12779名战士，配备枪炮7037支(门)。1973年以后，重点加强民兵骨干队伍和专业技术分队建设，组建坦克爆破班258个，3021人(其中女124人)。1980年组建通讯连5个、侦察连3个、高机连5个、重机连11个、八二迫击炮连5个、高炮连1个、雷达排1个，装备有重机炮772门、高机59架、各种炮327门、火箭筒123具、电台报话机和电话单机202部。1981年民兵组织进行调整，提高质量，精干队伍，全区民兵总数由原占人口总数26.4％下降到11.5％，平均年龄23.3岁，97％的大队配有武器。
1986年2月，对民兵组织再作整顿，9月份基于民兵由48788人缩减到27692人，其中退伍军人占16.5％，经过军事训练的基干民兵占76.2％，党团员占35％。