阜阳属军事要地，自古军事纷争，南北常以淮河为界，多有军队在此驻扎。辛亥革命后驻军情况是：
辛亥革命(1911年)时，革命党人张孟杰于同年11月24日率淮上军千余人进驻阜阳；12月，清河南布政使倪嗣冲率武卫军驻阜阳。民国元年(1912年)，阜阳成立国防营两营，马队一哨，共有官兵1101人，枪821支，马34匹。
民国7年(1918年)，倪嗣冲新编安武军驻阜阳。
民国11年(1922年)，阜阳成立人民自卫团。团部227人，游击大队444人，迫击炮队73人，骑兵队60人驻守阜阳城内。
民国15年(1926年)，国民革命军暂编第一军秦庆霖一个师、国民革命军第三十三军潘善斋一个团驻阜阳。
民国16年(1927年)，国民革命军四十七军高桂滋部驱逐秦庆霖部后，部分进驻阜阳。
民国17年(1928年)，国民革命军十二军孙殿英率袁家骥部驻阜阳城。
民国18年(1929年)，国民革命军第四军叶开鑫部、第二军岳维俊部以及任应岐、樊中秀等部先后进驻阜阳。
民国28年(1939年)，第五战区皖北抗日人民自卫军第三路军改为自卫总队，下有6个中队担任阜阳城防务。
民国29年(1940年)，国民革命军第九十二军、第五十一军驻防阜阳。
民国30年(1941年)，九十二军第十三师廖运泽部进驻阜阳。
民国31年(1942年)，国民革命军第十一军第五十六师进驻阜阳城。
民国32年(1943年)，国民革命军第八十五军李楚瀛部进驻阜阳城。
民国33年(1944年)，国民革命军骑兵第二军廖运泽部驻防阜阳。
民国36年(1947年)，国民党阜阳县大队及保安团驻防阜阳城内外。
民国37年(1948年)元月，国民革命军新编七十四师两个团3000多人，随第十四绥靖公署司令李觉驻阜阳城，后撤出。8月，中国人民解放军豫皖苏军区独立旅及第四分区司令部进驻阜阳城。
1949年，阜阳城驻军有：军分区独立团、阜阳独立团、军分区警卫营、通迅连、侦察连、军政干校、军分区司、政、后机关共5000余人。
1958年6月，武汉军区第二通信总站一机务站驻阜阳胜利路。1965年5月移驻阜阳县曹寨乡。
1967年9月，安徽省军区独立一师师部驻阜阳师范学校(今五中)，于1975年5月撤离阜阳调往浙江。
从1976年建市后至今在阜阳市的驻军单位有：阜阳军分区司、政、后机关，阜阳军分区独立连，阜阳军分区教导队，阜阳县武警中队，阜阳市武警中队，阜阳市消防中队，阜阳地区武警支队，阜阳地区消防大队。