民国元年(1912年)，县公署成立，建立了县自卫大队。县民政长(知事)兼管带(大队长)，设邦带(副大队长)主持军务。下辖3个中队约500人枪，主要驻防县城。各乡建立联防队，每队20至30人不等。2至3个乡联防队为一团练联防队，均受民政长指挥，主要负责本地治安保卫。民国4年，县自卫大队改为警备营。县知事兼管带(营长)，设邦带(副营长)主持军务。全营有步、骑兵300人枪，主要驻防县城。民国16年，改编为县自卫团。
民国27年春，县自卫团改为县国民自卫总队。县长兼总队长，设副总队长、事务员、书记官、录事各1名，督练员、指导员各2名。由副总队长主持军务。下辖两个自卫中队，1个预备队和1个义勇壮丁常备中队。其中两个自卫中队共200余人枪，驻防县城，其余各队均驻各乡(镇)，总计约1000人。民国29年10月1日，县国民自卫总队改为县国民兵团。县长兼团长，中校副团长由中央军政部委派，其余军官由团长委任。县国民兵团直隶阜阳团管区司令部。下辖：(1)、常备队。是年为2个中队200余人。翌年为3个中队300余人。民国32年为2个大队6个中队600余人。大队长为少校军衔。士兵训练有素，武器装备齐全。(2)、义勇壮丁集训中队。先驻城内农仓，后迁驻王集，主要负责集训壮丁。总计210人，其中备补兵(新兵)180人。(3)、后备中队。前身是预备队。民国32年由1个中队扩编为9个中队，每队196人，其中180人为国民兵。(4)、联防区队、乡(镇)队、保队和甲班。把各区、乡(镇)、保、甲的役龄男子就地编入，由后备中队组织分期训练，主要任务是维护当地治安。由区、乡(镇)、保长任队长，甲长任班长，另配军人任副职。民国32年，县内有顾桥、古沟2个联防区队，45个乡(镇)队，450个保队，2987个甲班。编入人数达3万余人。到民国33年，县国民兵团计有步枪2851支、手枪60支、轻机枪12挺、重机枪4挺、掷弹筒12具。此外，县政府警队有30人枪，国民党县党部行动队有25人枪。
附：日伪地方武装
民国29年(1940年)5月，伪县政府成立县自卫团。李锦华任团长，辖自卫大队400余人枪，驻守淮河东资寿寺、夏家湾一带。在日占区的区、乡建立自卫队，其中硖山口、烟顶山、山王集、蔡家岗、鸭背铺和郝家圩孜等地建有碉堡，各据点由1至2名日军和1至2个自卫班驻守。同期，还成立了伪警察局和伪特高队。日军投降时被消灭。