民国19年(1930年)后，潜山县各地相继建立了苏维埃红色政权。农民自发成立“赤卫队”。东乡、北乡、后北乡和西乡等地赤卫队积极参加建立红色政权的斗争，如参加请水寨暴动、黄柏河暴动等。
1949年3月，全县民兵业务由县大队指导，行政由人民民主政府统一管理。1950年10月，潜山县人民武装部成立，全县各区也相应设立人民武装部，专抓民兵工作。
1952年，中共中央颁布《民兵组织暂行条例》，9月，全县群众武装均统一改称为民兵。年底，全县有民兵12530人。
1958年9月，毛泽东发出“大办民兵师”的指示，县为民兵师，公社设兵团，大队设民兵营，生产队设民兵排。师、团领导干部均为兼职，营长为不脱产的干部，受公社武装部长领导。11月，全县适龄男女公民都加入了民兵组织，时有民兵15.2万人。
1961年，国务院颁发了《民兵工作条例》，对民兵进行整组，将身体健康的16—45岁的男性公民，16—35岁的女性公民都编入民兵组织。其中，16—30岁的男性公民，16—25岁的女性公民，编入基干民兵。基干、普通民兵都有班、排、连、营等建制，一般10—15人为一班，3—5班为一排，3—5排为一连，3—5连为一营。
1962年6月，毛泽东发出“民兵工作要做到组织落实，政治落实，军事落实”的指示，全县各级民兵工作领导小组改为“人民武装委员会”，领导各级民兵武装工作，此后，每年春冬两季全县民兵都要进行一次组织整顿。到1987年底，基干民兵总人数有5643人，训练合格的1362人。