抗日战争初期，县境农民为抵抗侵略，保卫家园，曾自发组织带有封建迷信色彩的红枪会，这种群众性的武装组织，一无正确的政治目标，二无严密的组织领导，多被地主豪绅收买利用。民国二十九年（1940年）夏，新四军抵达龙亢建立抗日根据地后，教育争取了龙亢一带红枪会首领杨兆峰等人，将红枪会改称为联庄会，在共产党的领导下，抗日、防匪、保家卫民，日本投降后，编入地方武装列为民兵组织。
部分年度民兵组织统计表

建国后，民兵组织建设在党的领导下，逐步完善、发展壮大。1950年成立怀远县人民武装部，建立健全了组织机构，有计划、有步骤地调整了民兵结构。1953年4月，县成立人民武装委员会，进一步加强对民兵工作的领导。1957年全县发展民兵83950人，其中基干民兵33837人。1958年9月29日，毛泽东主席发出“全民皆兵”、“大办民兵师”的号召。10月，怀远县建立民兵师，民兵发展到286377人，其中基干民兵158343人（男性96441人，女性61902人）。因一哄而起，建制混乱，生产组织与民兵组织不分，官兵互不相识。翌年1至4月重新整组。调整后，县民兵师共辖26个团、355个营、1045个连、5053个排计218019人，其中基干民兵85004人。1962年根据毛泽东主席关于“民兵工作要做到组织落实、政治落实、军事落实”的指示再次整顿，经整顿后的普通民兵为81923人，基干民兵为68496人。
“文化大革命”初期，民兵工作停顿。1969年恢复。翌年11月，成立县民兵独立团，下辖5个营、26个连、130个排、520个班4680人。1973年撤消。1975年，成立县民兵指挥部，各公社成立民兵小分队，以此取代民兵组织。1977年初，撤消民兵指挥部，恢复民兵组织。
1981年，县委、县人民武装部对全县民兵组织进行全面调整和改革。将民兵最高年龄由原来的45岁降为35周岁，其中男性基干民兵为18至28周岁，女性基干民兵为18至23周岁。通过整顿，缩小了范围，压缩了年龄，提高了质量。全县民兵由234858人，减少到91580人，占总人口的10％。1985年根据中央（85）22号文件，民兵组织要“减少数量，提高质量，抓好重点，打好基础”的指示精神，对全县民兵组织又作了较大幅度的调整，调整后，全县普通民兵为65462人，基干民兵9753人（男性9101人，女性652人）。