县内民兵组织产生于第二次国内革命战争时期。民国19年（1930）11月，在红十军帮助下，昭潭、大板、东坡贩成立了红军局，两地90多位农民拿起土枪刀矛，组成了群众革命武装，仅两年时间，全县赤卫队（即民兵）发展到万余人。抗日战争爆发后，民兵相继在官港、香隅、东流、马田等地活跃起来，配合新四军沿江支队打击日军和汉奸，革命根据地不断扩大。33年12月，昭潭、张溪、葛公等地民兵积极配合新四军五师挺进十八团和沿江支队，攻打国民党至德县政府，消灭了县自卫大队，在配合中国人民解放军渡江作战中，发挥了应有的作用。
1949年底，县、区成立人民武装部领导和加强了民兵建设。1952年，中央颁布《民兵组织暂行条例》，用法律形式把民兵制度固定下来，实行了“普遍民兵制”，全县90％以上青年积极要求参加民兵，为国防事业贡献力量。
1958年9月29日，毛泽东主席发出“全民皆兵，大办民兵师”的指示后，全县民兵编成1个民兵师，19个团，40个营，326个连，2811个排，民兵总数达113444人。
1961年，按照国务院颁发的《民兵工作条例》，对全县民兵组织进行了整顿，把身体健康的16到45岁男性公民和16到35岁女性公民编入民兵组织，其中16到30岁男性公民和16至25岁女性公民编入基干民兵，其余编为普通民兵。
1962年9月16日，毛泽东主席发出民兵工作要做到“组织落实，政治落实，军事落实”的指示后，每年冬春季节，全县民兵组织都进行一次整顿。
1969年，组建了县基干民兵独立团，下辖22个连，总人数为3884人，配有各种武器。
1981年，对全县民兵组织进行全面调查和改革。缩小了组建范围，简化了组织层次，压缩了年龄，减少了数量。民兵年龄为18至35岁。其中男性基干民兵为18到28岁，女性基干民兵为18到23岁。条件是：退伍军人，经过民兵军事训练人员或下年参训对象，普通民兵男性为18到35岁未经训练人员，女性不编普通民兵。机关、事业单位不建立民兵组织。
1985年，按照中央指示的“减少数量，提高质量，抓好重点，打好基础”十六字方针，对民兵数量再次压缩。截止1987年，具有民兵49895人，其中基干民兵4275人，普通民兵45620人。基干民兵中有复退军人550人，占基干民兵12.9％。全县建有基干民兵连43个，辖基干排273个，基干班548个，各级干部齐装满员。