在中国共产党的领导下，安徽有着光荣的群众武装革命斗争的历史。民兵，是共产党领导下的一支不脱离生产的群众性武装组织。早在第二次国内革命战争期间，在安徽各地，多次发生农民武装暴动。赤卫队、贫农团、自卫军、少先队等群众武装组织，蓬勃发展。广大人民群众，英勇地拿起大刀、长矛、土枪、土炮，打击帝国主义、封建主义和官僚资本主义等势力，建立苏维埃政权。这些农民武装组织为后来创建中国工农红军第四方面军、第二十五军、第二十八军和开辟鄂豫皖红军根据地奠定了基础。抗日战争期间，安徽建立淮北、淮南、皖江等抗日民主根据地，全省群众武装斗争的烽火日甚一日。猎户队、自卫队、模范队、农抗会、青年队等民兵组织迅猛发展。紧密配合八路军、新四军、游击队，沉重打击侵皖日军和伪军，为争取抗日战争的胜利作出卓越贡献。解放战争期间，皖北民兵积极配合人民解放军为保卫解放区，粉碎国民党军事进攻，英勇奋战。皖南民兵同游击队一起，在国民党军多次“清剿”中，坚持艰苦卓绝的斗争。江淮民兵全力以赴支援淮海、渡江两大战役，建立了不朽的功勋。中华人民共和国成立后，广大民兵积极参加剿匪、维护社会治安、巩固人民政权，在社会主义革命和社会主义建设中发挥了重要作用。