民国16年（1927年），蒋介石叛变革命，安徽国民党右派在安庆、芜湖等2地进行“三·二三”和“四·一八”反革命大屠杀，整个安徽陷入新军阀的反动统治之下。10月，中共安徽省临时委员会，为贯彻中共中央“八·七”会议所确定的土地革命和以武装反抗国民党右派屠杀政策的总方针，于26日发出呼吁，号召全省工人、农民和贫民立即“武装起来，枪口瞄准，勇往直前，变军阀战争为工农革命、贫民革命的战争，将一切革命的敌人歼灭净尽”。六安、霍邱、潜山、合肥、寿县、阜阳、宿县、萧县、临泉、凤台等地的共产党领导人分别深入农村，发动农民，秘密组织农民协会和穷人自救会，高举“打倒帝国主义”、“打倒土豪劣绅”的旗帜，与地主、官僚展开斗争，群众武装组织遂应运而生。民国17年后，共产党在大别山建立革命根据地，赤卫队大量发展起来，成为安徽民兵的主要形式。赤卫队等民兵组织在保卫苏维埃政权、配合红军作战、扩大红军队伍等方面，作出了重要贡献。