一、组建
阜阳的人民武装斗争开展得很早，民国16年(1927年)，不堪忍受饥寒交迫的阜阳城乡人民，自发组织抢粮、吃大户斗争，在中国共产党的组织和发动下，城郊的许多农民相继成立了农民协会和农民赤卫队。
民国17年(1928年)春，阜阳城郊农民赤卫队员在中共皖北特委和中共阜阳县委领导下，配合驻阜阳城的国民革命军中部分进步官兵参加了“四·九”武装起义。
抗日战争时期，阜阳人民积极参加抗日救亡工作。民国27年(1938年)，阜阳人民组成抗日自卫军，在新四军的配合下，他们破坏公路阻止运输，打击日寇，牵制敌人。
解放战争时期，阜阳民兵和群众积极组织支前工作。他们日夜兼程，把大批粮食、弹药和军需物资送往前线。担负起运送伤员、看押俘虏等各种战斗勤务，以雄厚的人力、物力做好了后勤保障。为淮海战役的胜利，打败蒋介石，解放全中国作出了重大贡献。
1948年8月，阜阳解放。在党和人民政府的领导下，阜阳城的民兵组织逐步发展壮大。
1950年，阜阳民兵和人民积极响应党中央、毛主席抗美援朝的号召，积极踊跃参军参战。抗美援朝期间，全城数百名青年民兵参加了志愿军，其中妻送夫者有169人，父送子者有216人。
1950年3月，皖北军区阜阳军分区成立，阜阳县建立了人民武装部，隶属阜阳县的阜阳城镇相应成立了属地方建制的阜阳城关镇人民武装部。镇武装部按照中央颁布的《民兵组织暂行条例》，对民兵组织进行了有计划、有步骤的审查、整顿，将基干民兵和普通民兵分别进行编组，通过选举产生民兵干部，对民兵的训练活动也作了合理安排。
1958年9月29日，毛主席发出了“全民皆兵”、“大办民兵师”的指示。阜阳镇下属4个公社分别成立了民兵团。城内大厂建有民兵营(连)，小厂建有民兵连(排)。
1961年，根据国务院颁发的《民兵工作条例》，阜阳城民兵进行了组织调整。对16至45岁的男性公民中，16至35岁的女性公民均编了民兵组织，其中16至30岁的男青年和16至25岁的女青年编为基干民兵，超过年龄的男、女性公民编为普通民兵。每年冬春对民兵组织都进行一次整组，吸收适龄青年参加民兵组织，做好出入转队工作，对民兵干部作适当调整。
1956年，阜城镇上升为县级镇，镇武装部改归军队建制，工作人员为现役军人。
文化大革命的10年内(1966年至1976年)，阜阳城的民兵工作受到了干扰破坏，先后成立了阜阳城群众和民兵指挥部，民兵建设走了一段弯路。
1976年至1985年底，阜阳市民兵组织由单一的步兵分队发展成为通讯、高炮、侦察、防化等多种专业的技术分队。其中基干民兵分队69个排，1855人；技术专业分队42个排，1845人。
二、训练
阜阳市的民兵训练，坚持政治和军事两方面的培训，努力围绕着党的中心工作和社会主义建设服务。
在军事训练方面，长期以来多为队列、射击、投弹、爆破等项目为主。随着专业技术分队的建立，逐渐增加了专业技术兵种的训练。1980年以前，民兵的军事训练为4年一个周期，1981年后改为2年一个周期，1984年又改为年度训练。要求训练一个，合格一个，储存一个。
1982年以前，年度军事训练时间规定为15至20天。1982年以后，年军事训练时间改为不少于一个月，专业技术分队的训练时间可适当延长。
1978年和1982年，我市民兵两次参加省军区在巢湖统一组织的高炮训练。均完成练习100%，总评成绩优秀，受到省军区的表彰。
1985年，据统计：我市民兵训练两年以上，合格人员达1617人。
在政治教育方面，主要是根据当时当地的具体情况，利用节、假日，每月一课或季度一课，对民兵进行制度教育。教育的内容，一是进行党的路线、方针、政策教育；二是进行民兵基本常识教育；三是结合生产实际，围绕中心工作，进行物质和精神文明方面的教育。由于认真落实了民兵教育制度和内容，广大民兵的政治素质不断提高。
在社会主义四个现代化建设方面，我市广大民兵发挥了积极作用。阜阳卷烟厂基干民兵童新亚，在生产中大胆实践，勇于探索，1984年他在全国卷烟行业进行机器操作比赛中，以娴熟的操作技术，取得148.25分的好成绩，名列榜首，被誉为全国切丝状元。《东海民兵》在1984年第六期以较大篇幅报道了他的事迹，中国轻工业工会全国委员会授予“全国卷烟工业操作技术能手”称号。
我市民兵不仅在生产建设中是生力军，在担负急、难、险、重任务中也是突击队。近年来，在维护社会治安、抗洪、抗旱、救灾等任务中，出现了许多英雄模范人物，为振兴中华，建设阜阳作出了积极贡献。
阜阳市1985年民兵整组组织统计表
单位：个

三、活动
阜阳市民兵组建后，即积极组织和参加军事活动和地方建设。
1977年，开展创建“硬骨头六连式的武装部”活动。阜阳市民兵参加开讨论会、誓师会33次，31630多人次；开展挑应战活动的民兵营18个，连31个，排231个，班384个。在纪念“民兵工作三落实”发表15周年活动中，举行了11个连700余人的军事大会操。同年9月25日至29日召开了阜阳市首届民兵代表大会，出席会议代表205人。1978年为纪念“九·二九”毛泽东主席关于大办民兵师的指示发表20周年，8月3日至8月5日举行了全市民兵军事比武，每个基干连抽一个班参加。
1982年组织民兵开展“五讲四美三热爱”和“文明礼貌月”活动，全市民兵有11000余人参加，做好事1026人次，植树33760棵。同年，为纪念“三落实”发表20周年，组织了军事比武，表彰了先进民兵67人。市人武部军事科被阜阳军分区评为先进科。阜阳市搬运公司基干民兵连，在“文明礼貌月”等活动中作出了突出贡献，有力地支援了城市精神文明建设，被阜阳地区行政公署授予“建设精神文明和民兵工作三落实”先进单位。1983年开展了民兵武器管理百日无事故活动，同时还开展了“在社会当个好青年，在家庭当个好子女，在工厂当个好工人，在连队当个好民兵”的四好活动。阜阳市人武部被南京军区授予“拥政爱民”先进单位，阜阳市丝绸厂被阜阳军分区授予“民兵政治教育改革”先进单位。女民兵邢静获安徽省军区收发报比武第一名，荣立三等功一次。
1984年开展“合格民兵武器室”活动，全市有23个武器室达标，合格率达95.8%。阜阳市制药厂防化连获全省民兵防化比武第三名。
1985年召开了阜阳市民兵发展商品生产经验座谈会。阜阳市百货大楼民兵排、闸东乡石棉瓦厂民兵排，被阜阳军分区、阜阳行政公署评为民兵发展商品生产，带动群众勤劳致富，带动文明村镇建设先进单位。阜阳市人武部政工科被阜阳军分区评为先进科。
从1976年至1985年，每年节日或全市性重大活动中，都组织民兵战备执行巡逻站岗，配合公安部门严厉打击刑事犯罪活动，共调用民兵189次，836452人次。