民国29年(1940年)10月，县抗日民主政府建立县农民自卫团，王保台任团长。在各抗日民主根据地建立区、乡农民自卫队，队员1万余人。以长矛、大刀、土枪为主要武器。翌年4月，抗日民主政府撤离凤台，农民自卫团解散。民国36年11月，县委在解放区逐步建立起民兵组织。到凤台解放时，全县民兵人数已达7360人，约有长短枪150支和少数轻机枪，手榴弹。
1950年，全县以区、乡为单位建立11个民兵中队，157个民兵分队，民兵总人数约15000余人。每乡配备枪支15至20支。1953年，根据年龄将民兵编为基干民兵和普通民兵。乡建民兵队部，下设中队、分队、小队。每个中队80至100人，配枪50支左右。全县民兵总人数约4万人。
1958年9月，响应毛泽东主席“大办民兵师”号召，成立县民兵师。以公社为单位建立12个民兵团，生产大队建营，生产队建排、班。把16至50岁的男女全部编入民兵组织。全县民兵总人数逾20万，占全县总人口的40%以上，另以公社为单位建立基干民兵营12个，生产大队建基干民兵连，生产队建基干民兵排、班。1959年底，开始整顿民兵组织。注重质量，分阶段压缩数量。1961年，成立凤台县武装基干民兵团。到1965年，有民兵团38个，基干民兵营38个，基干民兵连192个。
1966年至1969年，民兵工作处于瘫痪状态。1970年，为便于战时动员，对民兵组织进行整顿，成立凤台县民兵独立团，辖3个营。同时在刘集、毛集、大山3个公社建立3个武装基干连。1973年，整顿压缩民兵人数。全县有民兵团18个，基干民兵营18个，武装基干民兵连21个。
1978年，县建武装基干民兵营，武装基干民兵连扩建为37个。1980年，民兵武器集中到生产大队保管。1981年，根据中央(80)11号文件精神，全面整顿民兵组织。规定参加民兵的年龄段为18至35岁。其中18至28岁为基干民兵，其余为普通民兵。以生产大队为单位编制民兵营，隶属公社人武部领导。营以下编若干个普通排、1个基干排或班。同年，武器集中到公社保管。
1985年，全县共有民兵营289个，其中基干民兵连41个。同年7月，民兵武器集中县人武部统一保管。