一、明清时代
明沿元制，设千户所，正千户3人，副千户8人，镇抚司2人，百户10人。到清顺治初年，裁正副千户、镇抚、百户，改选流官掌印千总1员，掌管所事。顺治十五年(1658年)，裁所归县，改设颍上汛。清代绿.疲韵挛础Ｑ吹闹霸鹗牵鹤な叵爻牵芟椒姥粗伟玻盗繁肌Ｇ逵赫昙洌种猛馕炎(正九品)，驻八里垛。清道光三年(1828年)，设江口集额外外委1员，其兵额自裁所归县后，置战兵2名，守兵24名。咸丰元年(1851年)，因出防广西有战功，改战兵1名为马兵。分属颍上上汛，马兵1名，战兵5名，守兵13名；分属八里垛汛，守兵5名；分驻江口集汛，守兵3名；东四十里铺设守兵1名；西三十铺设守兵1名，共29名。
二、民国时期
民国初，县建立城防局，设局长1人，职员10余人，负责城防治安，因其业务属军事性质，所以凡驻颍上或过境军队的粮秣、亻夫役供应，统归城防局负责筹办。1918年，城防局裁撤，县城驻军支应交由里民局办理。1924年，县成立警备队。1929年，全县各区成立民团，县民团团总杨承轩、叶育三，团丁有5、6千人。1933年，成立颍上县保安大队。抗日战争初期，颍上成立民训总队，由县长兼任总队长，下设国民兵义勇壮丁常备大队，各区、乡(镇)、保均设壮丁队。1940年，民训总队改为国民兵团，由县长兼任团长，负责国民兵的管理、训练、征调、服役等事宜。国民兵义勇壮丁常备队改组为国民兵团常备队(1个中队)，另组后备队，下设区、乡(镇)、保国民兵队。1945年，抗日战争胜利后，取消国民兵团，成立两个自卫大队，辖6个中队。1946年4月1日，裁减为1个大队5个中队。1948年，改.０餐牛律3个营，三三编制，共1420人。
三、解放以后
1949年元月，颍上解放，先后在江口、新六、耿棚、城关4个区建立区中队，县建立大队，配大队长、政委各1人，内设1处、1股、，下设4个连，1个机枪班，1个侦察班，相当于1个简编团。负责剿匪、维持治安、组织民兵和兵员征集工作。1950年11月，为加强地方武装建设，根据华东军区司令部《华东人民武装力量发展草案》精神，县大队改编为颍上县人民武装部，配部长、政委各1人，下设军事股、政工股，隶属县委、县政府领导。同年，在杨湖、夏桥、两河、南照、润河、汪赵、六十铺、新集、城关(后改为镇)9个区，成立区人武部。1951年3月，根据中央军委《人民武装部组织编制》的规定，县人民武装部编入中国人民解放军系列，全称“中国人民解放军颍上县人民武装部”，隶属阜阳军分区。1952年，增设龚集、新庙两区人武部。1954年11月，颍上县人民武装部改称颍上县兵役局，配局长、政委各1人，下设组织动员科、政工科、征集科、统计科、预备役军人科，仍属人民解放军系列，隶属阜阳军分区。1954年9月，根据中央军委决定，撤销区人武部，设武装助理员。1959年9月，颍上县兵役局改称颍上县人民武装部，配正、副部长和正、副政委，下设军事训练科、组织动员科、政工科，并恢复区人武部建制。1961年5月，撤社建区，成立11个区(镇)武装部。1970年，颍上县人民武装部为乙等编制，配正、副部长各1人，政委1人。下设军事动员科、作训政工科。1975年4月，颍上县人民武装部、县武警中队全员奉命随阜阳军分区调防到浙江金华地区兰溪县，兰溪县人武部、县武警中队全体官兵同时奉命调入颍上，其编制未动。1979年9月，设17个区(镇)人武部和一个县直人民武装部，隶属县人武部。1986年6月，县人武部改归地方建制，实行以地方为主的军地双重领导，内设办公室和政工科、军事科，编制26人。