一、市人民武装部
1965年成立阜城镇，属县级建制，隶属阜阳行署领导。同年成立阜城镇人民武装部，属军队建制。镇武装部未设科，编制有参谋、干事6—10人，下属大隅首、北关、三里、向阳4个公社武装部。
1969年至1975年，阜城镇改为阜阳镇，属阜阳县领导，镇武装部撤销。
阜阳市成立后，根据南京军区、安徽省军区指示，成立中国人民解放军阜阳市人民武装部，1976年11月20日市人武部印章正式启用。1977年，市人武部进行了充实，内设政工科、作训科、组动科、装备科，编制25人，同年，阜阳县人武部将阜阳市区的民兵工作移交给阜阳市人武部。
1980年，根据上级下达的人武部新的编制表，阜阳市人武部列为一类县(市)人武部，编制为26人。
1981年，根据安徽省军区(81)12号文件通知，阜阳市人武部执行新编制，设政工科、军事科、后勤科，编制25人。
二、基层人民武装部
中市区人民武装部1979年3月成立中市区人民武装部，其前身为三里公社人民武装部。有正、副部长各1人。
鼓楼区人民武装部1977年10月成立鼓楼区人民武装部，其前身为西市区人民武装部，有部长1人。河东区人民武装部1979年2月成立河东区人民武装部，其前身为东市区人民武装部，有正、副部长各1人。
泉河乡人民武装部1979年2月成立泉河公社人民武装部，公社改乡后于1984年8月成立泉河乡人民武装部，有部长1人。
闸东乡人民武装部1981年成立闸东公社人民武装部，公社改乡后于1984年8月成立闸东乡人民武装部，有部长1人。
市航运总公司人民武装部1973年成立阜阳市水上公社人民武装部，公社改乡后成立水上乡人民武装部，现改称阜阳市航运总公司人民武装部，有部长1人。