民国27年（1938年）5月县境沦陷，土匪武装蜂起。为了抵抗侵略，保家卫国，在中国共产党的领导下，各地相继组织了看家会、联庄会、杆子会、抗日自卫队等农民武装。这些武装在自愿互助的基础上，根据有钱的出钱、无钱的出人的原则，集资购置武器弹药。农闲时青壮年参加操练，农忙时参加生产，出事时，一村鸣枪，周围村庄同去救援。抗战时期，全县有看家会、联庄会等农民武装100多个，以四铺、五沟、临涣等地的活动最为活跃。这些武装是革命军队不可缺少的助手和强大的后备力量。34年抗日战争胜利后，民兵组织迅速发展，全县民兵由胜利前夕的7000多人增至年底的13200余人。37年秋，境内民兵已发展到14950人。淮海战役打响后，全县民兵全部投入支前运动。淮海战役刚结束，又有1900多民兵投入渡江战役的支前工作。
建国后，我县认真贯彻执行党中央关于民兵工作的一系列指示，使民兵的组织建设得到健全和完善。1950年，县设民兵总队，区设大队，乡设分队，村设小队。1953年，县设1个民兵团，下辖11个民兵营。有民兵71071人，其中基干民兵11784人。1958年，大办民兵师，开展了全民皆兵的群众运动。县设1个民兵师，下辖19个民兵团，216个营，1310个连，共有民兵375387人，其中基干民兵113314人，排以上民兵干部25585人。1962年6月，通过贯彻毛泽东“民兵工作要做到组织落实、政治落实、军事落实”的指示，全县民兵的政治、军事素质得到提高，在社会主义建设中发挥较大作用。“文化大革命”期间，民兵组织未变，政治、军事素质却大大削弱，各项活动几乎陷于停顿。1976年后，民兵工作重新走上正轨。县成立了民兵独立团，辖3个营，有民兵24420人。1979年，民兵工作得到了进一步落实，全县成立民兵团28个，民兵营551个，共有民兵211703人，其中基干民兵96703人，普通民兵115000人。1981年后，为切实减轻国家和人民的经济负担，按中央有关文件精神，我县对民兵组织进行了全面调整和改革。民兵最高年龄由原来的47周岁降为35周岁，其中男基干民兵为18至28周岁，女基干民兵为18至23周岁。普通民兵中不编入女民兵，机关、学校、事业单位不建立民兵组织。通过全面整顿，民兵人数减少了，军事素质却提高了。1985年全县有1个民兵团，76个连，581个排，1455个班，民兵77980人，其中基干民兵14990人，复退军人5927人。