第二次国内革命战争时期，中国共产党组织了萧县的黄口、张庄寨、洪河集、宿县的芦村、东三铺、水池铺、泗县的石梁河、灵璧县的大山等地的农民举行武装暴动。虽然这些暴动先后被镇压，但也为后来掀起更大的反抗风暴积蓄了力量。1937年，抗日战争爆发后，我区相继建立抗日动员委员会，农村普遍建立联庄会，联合互防。1938年5月至年底，我区各县相继沦陷，在广大农村，为了抗日保家，防匪防盗，很多村庄组织看家队、联庄会、打更队、联防会、保田队、自卫队等。中共党组织及时建立敌后抗日民主政权。利用抗日民族统一阵线的旗帜和抗日民主政权的力量和号召力，把农村中名称各异的自发抗日队伍改造成为抗日民众自卫队，即最初的民兵组织。随着组织形式逐渐健全，每个村建立民兵小队，乡建立民兵中队，区建立民兵大队，县成立县总队，统一指挥全县民兵。分别由村长、乡长、区长、县长兼任小队长、中队长、大队长、总队长。由中共党组织的各级负责人任指挥员、教导员、政治委员等职。区、县各设一名专职大队副和总队副；各县设人民武装委员会，专门领导民兵组织。区大队以上民兵都是脱产的；乡中队或脱产或半脱产，战时打仗，平时参加农业生产。1944年秋至1945年，仅我区萧县民兵就发展到16 050人，有长短枪2 140支。灵璧县民兵组织发展到13 614人，枪4016支。1949年该县民兵发展到20 330名。民兵组织的迅速发展和力量不断增强，有力地支援人民战争，广大民兵在维持地方治安、锄奸反霸，支前运输、铺路架桥、抢救伤员等方面也都发挥了巨大的作用。为争取革命战争的早日胜利，做出了很大的贡献。
据灵璧县不完全统计，在抗日战争和解放战争期间，民兵单独同日伪军、国民党地方武装作战142次，参战人数87 056人，毙敌2 120人，伤敌3 399人，俘敌175人；配合主力作战1 532次，参战人数57 634人，毙敌6 706人，伤敌7 306人，俘敌1 089人，缴获各种枪械4 215支。宿县的桃山、苏湖等地民兵，仅在1944年，就对敌作战42次，缴获长短枪954支，破坏敌人铁路、电线20多次。萧县民兵武装在抗日战争中与日伪军单独作战160次，配合主力部队作战70多次，在解放战争中，单独作战290次，配合主力部队作战160多次。1948年11月，淮海战役开始后，我区各县相继建立了“战勤司令部”、“支前办事处”和“支前指挥部”等专门机构，深入动员群众，全力以赴支援前线。以民兵为主组成担架队、运输队。泗县先后有10万民工投入支前工作，动员担架300多付，独轮车和牛车共3 000多辆，船40多只；灵璧县组织担架700多付，1 000辆独轮车和3 690辆大车开赴前线。该县李楼乡100多名民兵组成的担架队随军开到徐州、永城前线达两个月之久，抢救伤员340余人。在淮海战役西北战场上，宿县共出动民兵和民工7万多人，牛车2万多辆，共运粮食131万斤，柴草3.4亿斤；修桥67座，修铁路100多公里。淮海战役结束后，我区民兵又接受支援大军渡江的任务。灵璧县男女民兵迅速把14 000根枕木运到任桥车站，支援津浦铁路的修复。女民兵在10天内还赶做军鞋8 000双，送往前线。又组织1 000辆独轮车随军南下。宿县民兵组织2 200多人的支前远征队，参加渡江战役，直下芜湖、南京等地。在支前中，仅灵璧县就有30多名民兵牺牲在火线上，有140多人立功受奖。
建国后，党和各级政府十分重视民兵组织、领导和训练工作。1950年7月，宿县军分区结合反匪反霸、生产自救、减租减息运动，调整民兵组织，根据各地民兵人数编为中队、小队。还在民兵中选拔骨干和发展党员、团员，充实基层政权组织。重视对民兵的管理、教育和训练。到年底，全区有民兵32万人。针对当时由于国民党特务的煽动破坏，各地反动道会门举行反革命暴乱，袭击新生的基层政权，杀害乡、村干部、积极分子和烈军属。为了打击敌人的嚣张气焰，保卫基层政权，1950年9月，宿县地区由军分区、公安、民兵三家联合成立剿匪指挥部，组织动员2000余人进行全面肃匪。至年底，追匪根27条，挖匪窝121个，捉匪首57人，毙匪徒600余人。
1949年初到1951年，仅我区萧县民兵对敌作战921次，歼灭大小股匪、武装特务数十起，毙、伤、俘虏572人。1951年4月，在民兵配合下，军分区便衣队会同濉溪县公安局，捕获濉溪南部最大匪首刘玉力、王景先。6月，我区又抽调300名强壮民兵，去怀远参加治淮劳动。1952年9月，经过整顿、教育、训练，民兵建设发展很快。全区民兵增加到33万多人，占我区总人口的3％。民兵在执勤、治安和农业生产中发挥巨大作用。从10月22日起，军分区又分期举办乡村民兵干部集训班，每期时间半月左右，学习党的民兵工作方针，突出军事基础训练，相互间开展小型竞赛活动，训练效果显著，共集训了民兵干部429人。11月21日，地委和军分区联合发出通知，各乡民兵组织统一调整。乡一律称大队，设队长、指导员各一人，副队长、副指导员若干人；村根据人数多少设分队和小队。
1953年6月，全区实行普遍民兵制。全区3 661个乡均建立民兵基干团，由乡主要领导担任团长或政委。8月，军分区在防暴乱重点地区萧县黄口、灵璧固镇、张大路三地设立情报站（点），所在乡选调12名民兵成立便衣班，随情报站（点）行动。至11月，捕匪1 331名，毙匪67名。12月30日，以县为单位分片集训民兵干部和民兵。全区受训民兵干部6 552人，民兵45 512人。1954年2月10日，在濉溪县召开全区首次民兵先进代表大会。出席代表1 207人，会上表彰了28个民兵工作先进单位和125位先进个人，听取了15个乡加强民兵建设的经验介绍，会议结束时，观摩了百善集民兵的军事表演。
1957年2月，为加强治安，我区以各级民兵为骨干，建立联防委员会。联防委员会在同级党委领导下开展工作。依靠人民群众，开展联合防卫。3月28日凌晨3点左右，国民党飞机3架飞抵我区上空，4点30分在泗县撒反动传单，攻击中国共产党和社会主义制度。事件发生后，联委会迅速动员民兵保护现场，收缴传单近万份，重70余斤。1959年2月1日，萧县民兵包围阴谋暴动的反动道会门“圣贤道”的道首、道徒60余人，捉拿42人，外逃10余人。
1960年2月14日，我区民兵代表2人出席全国民兵先代会。1963年6月6全面登记，全区共登记预备役干部3732人，其中适合战时归队的2 049人，不适合的1 683人；其中登记预备役军官1 849人，适合战时归队的1 369人。1964年，对民兵进行年度军事训练，通过运用郭兴福教学法，集训专职武装干部536人，武装基干民兵36 145人。11月4日，举办我区首届民兵比武大会。经过比武，灵璧县代表钱立兰、萧县代表芋永良获步枪射击第一名；宿县代表杜贤美获手榴弹投掷第一名。
1972年2月3日，按照省军区“关于对津浦铁路过境段沿线桥梁、车站安全应绝对负责”的指示，全区发动干部民兵461 667人，守护27个日夜，确保美国总统顺畅。3月2日，在萧县朔里公社郭庄大队召开全区民兵工作座谈会，传达贯彻南京军区民兵工作座谈会精神。５月3日，军分区从机关抽调11人，组成3个小组，对全区9个县65个公社的民兵工作进行检查了解。检查结束后，又召开机关正副科长以上干部会，分析形势，研究问题，提出了关于加强民兵建设的四项措施。
1974年9月12日，军分区在濉溪县水泥厂召开全区民兵地雷战现场会，参加会议的有南京军区、省军区负责人和各县人武部、分区机关领导干部和7个男民兵班、3个女民兵班共206人。会议着重研究了传统战法，应用地雷战在山区、平原打坦克的技术、战术，总结交流经验，以推动全区武装基干民兵地雷战的训练。
1975年4月，按照上级要求，全区9个县都建立了民兵指挥部。1976年10月11日，我区召开第三届民兵代表大会，出席代表1 026人。
1980年3月12日，军分区党委对我区武装基干民兵建设工作提出七条意见：一、认真解决好对新形势下民兵工作的认识；二、抓好武装基干民兵的调整、巩固、提高工作；三、搞好民兵政治教育；四、改革训练方法，提高训练质量；五、抓好武装干部队伍建设；六、搞好民兵武器装备管理；七、切实加强民兵工作的领导。5月15日，在灵璧县召开全区民兵训练业务座谈会，研究了民兵训练的改革问题。
1980年，全区共训练专职武装干部171人，民兵干部5 880人，武装基干民兵60 919人，占武装基干民兵总数的88.1％，训练各种专业技术骨干3 249人，参加实弹射击的64 785人，参加实弹投掷的37 150人。
1981年5月，按照缩短训练周期，减少训练人数，实施分批轮训的原则，全区共训练民兵干部和基干民兵28 893人，其中营、连长3 598人。1982年2月，我区对民兵军事训练进行改革：一、减少训练人数，选好对象，由原来每年6至8万人的训练任务减少为23 000人；二、结合实际，改革训练内容，对新民兵抓基础课目训练，对老民兵注重应用训练；三、根据形势，改革训练方法，针对农村实行生产责任制的特点，采取因时制宜、集中时间、合理编组等方法进行训练。6月29日，我区调整民兵组织。通过调整，撤销了原建立9个师、179个团的空架子，精干了民兵队伍，提高了民兵质量，调整了民兵武器布局。7月10日到17日，我区普降大雨，其中萧县受灾犹重。灵璧、泗县、宿县、萧县、宿州市人武部共组织民兵104 182人，投入防汛救灾第一线，抢救国家、人民财产。1983年8月23日，在贯彻执行党中央关于严厉打击刑事犯罪活动战略决策的战役中，我区各级政府发动民兵投入打击刑事犯罪的“拉网战斗”。
1984年6月15日，为了抓好训练改革，逐渐实现以县为单位分期分批轮训民兵，军分区首先在灵璧、砀山两县进行了民兵训练基地建设试点，建成一次可供800——1000人吃住训练的基地。其中灵璧县民兵训练基地占地115 805平方米。建房133间。砀山建房122间，66 800平方米，萧县县委决定利用原郭庄党校，稍加维修，现有房358间，113 000平方米。7月27日，为参加省高炮（机）实弹射击，我区组织选拔民兵111人进行集中训练。经考核，理论和动作成绩均在良好以上。1985年1月5日，灵璧、砀山两县人武部，首次利用县训练基地进行民兵训练。灵璧县一次训618人，砀山一次546人。把民兵训练由小型、就地、分散过渡到以县集中轮训的形式，两个周期一次完成，训练效果明显提高。从10月上旬开始，对全区民兵进行整组。通过整组，稳定了民兵数量，提高了质量，加强了后备力量的建设。整组后，全区民兵总数为396 443人，其中基干民兵70 867人。