〔组建〕
抗日战争时期，中共庐江县委在本县游击区建有类似赤卫队的民兵组织。解放战争时期，在少数群众基础较好的地区建立民兵组织。由于民兵组织的建立，从而在本县形成民兵、游击队、县团三结合的地方武装。建国后，随着各级人民政权的建立，民兵组织亦相继建立。1950年全县民兵发展到4711人。1951年民兵人数16134名，其中基干民兵4881人。乡设中队，村成立分队，分队辖2至4个小分队，小分队以8—15人组成。1952年将28至30岁以下的青壮年全部编入民兵基干队，其余编入普通民兵，民兵数29239名。1953年乡民兵中队改称为民兵乡队，有部分乡队下设中队。1954年10月，全县40个乡(镇)成立了民兵基干队，并在全县范围内扩充民兵，至此，有乡镇队210个，中队445个，普通民兵33834名，基干民兵6831名。1958年上半年，进行了民兵与预备役合组；建乡队67个，基干中队425个，基干分队11442个，基干民兵42803人，普通中队158个，普通分队468个，普通民兵27387人。
1958年，根据毛泽东主席“大办民兵师”的指示，县组建了民兵师，24个民兵团，197个民兵营，民兵人数达297049人(其中女民兵9万人)，其中基干民兵99068人。1962年结合“整风整社”和“社会主义教育运动”，贯彻“组织、政治、军事”三落实，采取人民公社建团，生产大队建营，生产队建排或班的形式整顿了民兵组织，县直单位和厂矿建立民兵营、连组织。“文化大革命”中，民兵组织和活动被“群众专政指挥部”所代替。1976年，根据《民兵工作条例》合理进行编组，全县共建632个民兵营，8584个民兵排。1981年，参加民兵的年龄调整为年满18至35岁，其中基干民兵为年满18至28岁，以减少数量，提高质量，使民兵队伍更加精干，编制趋于正规，武器分布较为合理。
〔训练〕
1951年开始逐年对民兵进行有步骤、有计划的军事训练，重点是基干民兵(1962年以后是武装基干民兵)。训练内容主要是射击、投弹、爆破、单兵战术以及武器常识，有时根据年度训练要求适当安排一些捕捉空降特务、防空、防毒等勤务训练，其间还穿插进行过土工作业、列队和打坦克训练。专业分队依据自己的特点进行训练。训练时，基干民兵由公社集中教课，分大队(村)练习，有时还以自然村为单位组织。普通民兵由大队每年组织1至2次教育，重点是了解形势，明确职责。训练时间平均每年8至10天。训练采取小型、就地、分散的方法，农忙少训练，农闲多训练，做到“长流水不断线”。1965年2月，庐江县出席省民兵大比武会，获射击表演奖。其中长冲乡三十里铺大队基干民兵沈富英、沈凤英、沈永珍3姐妹以及晨光基干民兵张永茂被省委、省人委、省军区授于“神枪手”称号。60年代后期，县成立人民防空指挥部，组织民兵修建地下人防工程的同时，修工事和训练相结合，使民兵训练适应战时要求。
1980年以后，对民兵训练从形式到内容进行了改革，除进行军事训练外，还进行政治教育，教育内容主要是围绕精神文明，以及进行爱国主义、革命英雄主义和共产主义的思想教育。专职武装干部的军事训练列为重点的训练对象。1963年以前，主要学习理论、时事政治以及必要的军事训练，逐步达到会教兵、会带兵、会用兵。1964年开始，专职武装干部由军分区组织训练；武装基干连、排干部由县人武部组织分片设点短期集中训练；基干民兵排、连、营干部由区采取集中或分片设点训练，县人武部派人指导。1980年以后，县人武部负责训练少数民兵营长和教学骨干。
〔主要活动〕
自1949年8月始，民兵大力配合主力和地方部队担负清剿敌特，平息暴乱，协助公安机关侦察破案、押解看守罪犯、维护社会治安等任务，保卫集体和人民生命财产安全。据资料记载，民兵配合主力剿匪达14次之多，缴获长枪200支，轻重机枪2挺，单独与土匪作战100余次，参战民兵达1000余人，乐桥区小墩乡民兵班长崔正旺在1958年打死2只老虎，为民除害，受到国务院、中央军委的表彰，奖励1支半自动步枪，被省人民委员会授予“打虎英雄”称号。庐北乡燕窝村，18岁女基干民兵王严青为抢救落水女青年英勇献身，被省政府、省军区追记二等功，并追认为革命烈士。砖桥乡胡榜村民兵柳学群奋不顾身扑灭村庄火灾，摔伤后仍然以身体压住火苗，保护人民生命财产，一次山洪暴发，他从激流中抢救2名青年，受到省政府、省军区的表彰，荣记三等功。1980年后，各级民兵组织积极配合公安部门追捕逃犯，缉拿犯罪分子，维护城乡社会治安。
民兵还是生产战线上的主力军。50年代初全县就组织农业生产突击队1431个，参加突击队的民兵达17000多人。1954年大水，全县30000多民兵投入抗洪抢险。洪水退落后，又组织民兵兴修水利，重建家园。1959年大旱，全县民兵以社队组成抗旱突击队，昼夜奋战，开渠引水，打井提水，从几里外挑水救苗，在生产竞赛中，各地民兵还种丰产田、种子田、试验田，营造民兵林。1983年，全县有120000民兵投入抗洪抢险，其中万余民兵奔赴无为长江大堤抢险护堤。