民国26年（1937年）7月7日，抗日战争爆发。在日本帝国主义的疯狂军事进攻面前，国民党军消极抗日，节节败退。在这民族存亡的关键时刻，安徽人民响应共产党发布的《抗日救国十大纲领》的号召，纷纷成立群众武装组织，掀起抗日斗争高潮。民国27年春，共产党领导的新四军先后开进安徽大江南北，一面从军事上打击日军，一面宣传群众、组织群众、武装群众、发动群众抗日。从此，安徽的群众武装即由第二次国内革命战争期间组织的贫农团、赤卫队改为各种形式的群众抗日民兵队、自卫队等组织。民国28年，随着皖江、淮南和淮北三大抗日民主根据地的建立、巩固和发展，安徽群众武装组织进入新的发展阶段，尤以淮北地区的民兵组织较为系统和健全。至民国31年底，凡抗日民主根据地，普遍建立县总队、区大队、乡中队、村分队的民兵组织。