民国29年(1940年)7月县抗日民主政府建立保安大队。初建时，只有40余人枪，由段佩玉任大队长。翌年1月，由谢奎接任。另有2个区保安中队和1个乡队。不到半年，全县武装发展到500人枪。民国30年4月，国民党掀起第二次反共高潮，县武装奉命随县委、县政府转移到皖东北地区。民国36年11月，在豫皖苏六分区十一团支援下，县委、县政府成立，先后组建白塘、清泉、新河、金沟、界沟、古沟、潘集7个区队和部分乡队武装，约600至700人。是年12月，以白塘区队140人枪为基础，建立凤台县大队，县长丁文山兼任大队长，县委书记郑淮舟兼任政委，娄广玉任副大队长。次年2月底，县地方武装已初具规模，迅速发展到1200人，900支步枪。到4月底已达到1460人，100匹战马，1280支步枪，10挺轻机枪，2挺重机枪。7月，县大队副大队长由傅建邦接任，王希和任参谋长，县大队本身已发展到3个连350人枪。
1949年1月，凤台解放，县大队又从各区队抽调战士组成3个连。此时，县大队共有6个连700余人。翌年11月，县大队3个连上升到阜阳军分区警备营。1951年5月，根据中央军委《关于各级人民武装部的组织和编制问题的决定》，中国人民解放军凤台县人民武装部成立，隶属阜阳军分区，为正团级，设正、副部长，内设军事、政工2个股，下设11个区人民武装部。主要负责全县的民兵和兵役工作。次年10月，增设政委、副政委，政委由县委书记兼任。这一年同时成立县公安中队。1954年9月10日，县人武部增设兵役局，为一个机关两个名义，对外兵役局负责兵役工作，人民武装部负责民兵工作；对内统一办公。兵役局设局长、副局长、政委、副政委，凤台为甲等二级县，编制37人。内设组动、政工、征集、统计、预备役5个科。同时，撤销区人武部，配备区兵役助理员，与原区人武部相同，为正营级。1959年11月，兵役局撤销，县人民武装部仍设部长、副部长、政委、副政委，内设作训、组动、政工3个科。下设12个公社人武部，每公社编制1至3人，部长改由地方干部担任。1966年7月，县公安中队由县公安局划归县人民武装部领导。1975年4月，凤台县人民武装部及县中队奉命与浙江省开化县人民武装部及县中队调防。是年12月，县中队又划归县公安局领导，改名为县武装警察中队。其间，县中队主要任务维护地方治安、看守犯人、配合公安部门逮捕罪犯、执行枪决死刑犯人等。中队战士为义务兵。1977年1月20日凤台县由阜阳专区划淮南市管辖。同年4月15日，经南京军区批准，县人民武装部由阜阳军分区划归淮南市人民武装部领导。
1979年2月，县人民武装部增设装备科。1981年5月，由原4个科改为军事、政工、后勤3个科。1985年县人武部内设3个科，下设7区1镇、县经委、国营东风湖农场10个人武部，每个人武部编制1人(部长)。下辖28个乡人武部，每乡编制1人(部长)。
县人民武装部领导人更迭表