民国18年(1929)冬至25年春，红六军团、红七军团独立师、江南挺进大队、皖赣游击队等先后在池州苏区以自然村为单位组织农民团，以乡为单位建立农民游击队，使用大刀、长矛、钢叉和少量的土枪，开展抗租抗税和打土豪斗争，配合红军作战。农民团活动遍及贵池县的梅街、高坦、留田、牌楼，红石潭、郑家村、石碌县的双坑、坑口毛坦河、七井，东流、至德县昭潭、大板，青阳县的南阳、兰溪一带。据统计，此期间先后参加农民团组织的农民达到21400余人，是为区境最早由中国共产党领导的民兵组织。
抗日战争时期，新四军在贵池县东部、贵西地区，青阳县茗山，至德县昭潭、张溪、葛公等民主根据地建立民兵基干队或人民自卫队，配合游击部队开展抗日和减租减息斗争。据贵池县统计，民国32年(1943)至34年抗战胜利，全县抗日民主根据地先后建立民兵基干队和人民自卫队共计60余个。
1949年4月下旬池州全境解放后，各县都成立了民兵组织。1952年12月，实行“普遍民兵制”。1953年3月，安庆军分区在青阳县进行普遍民兵制试点，同时在普遍民兵的基础上建立基干民兵组织，参加者均为男性公民。
1958年，各县组建民兵师，适龄男女公民都加入民兵组织。民兵分为武装基干民兵、基干民兵、普通民兵3种。武装基干民兵配备武器。
1969年8月28日，国务院、中央军委颁发《关于县组织武装民兵独立团的命令》。1970年，各县先后成立民兵独立营，1971年，各县民兵独立营扩编为独立团，同时成立民兵指挥部，不久，民兵指挥部自行消失。
1981年，根据中共中央《关于调整民兵组织的指示》，取消了武装基干民兵和女姓普通民兵，撤销民兵师、团的编制和事业单位的民兵组织。民兵年龄改为男基干民兵18—28周岁，女基干民兵18—23周岁，普通民兵29—35周岁。在农村中，村建民兵营和基干民兵排(班)，乡建基干民兵连。男基干民兵一律服一类预备役。普通民兵服二类预备役。至1993年，全区共有民兵176378人，其中有基干民兵13897人(含女基干民兵669人)，占全区总人口的12%。