民国16年（1927年），中共鄂豫皖边区党组织在湖北黄安、麻城一带组织农民自卫军，参加者达数十万人。次年7月，中国工农红军第七十一军第三十师即在这支地方武装基础上建立起来。同年，共产党员操球前往怀宁高河埠，组织农民自救军，参加者千余人。
民国17年，张祖元、孙敬纯、甘信元、叶仁山领导成立太望地区赤卫队，下设3个分队。两年后，赤卫队发展到200余人，正式组成中国工农红军太望独立团。
民国18年，在太湖成立皖省人民自卫军，吴业仁任队长；潜山还有以红旗会为基础而组成的摸瓜队。
民国19年2月，由潜山请水寨起义队伍组成的潜山游击队，整编为中国工农红军潜山独立师，师长王效亭、党代表陈履谦。3月，转移到六（安）霍（山）地区，改为潜山工农革命军。同时，在潜山五庙组织的农民武装组建成红军第二团，储茂高任团长。5月，陈雪吾在桐城欧家岭领导农民武装200余人暴动，号称“中国工农红军天下第一师”。暴动失利后，番号也随之取消。民国20年，中共太湖区委组织北中区赤卫队，计100余人，11月改编为游击队。次年初，贵池、秋浦、东流成立农民团，9月改编为游击队，并参加了贵（池）秋（浦）东（流）暴动。
民国23年秋，陈彩林在潜山建立5支便衣队，活动于英山、太湖、潜山、霍山。第二年发展为10支便衣大队，每队16人；13支小便衣队，每队5～10人。他们在家为民，离家为兵。
民国24年4月，宿松建立罗汉尖游击队，共30余人，后改为大中华抗日救国军。司令朱超云，副司令朱国章、李发之，队伍发展到3000余人。此时，中共皖西特委还派林维先组织战斗营与中共潜山县委合并，成立皖潜游击队，后改名皖潜独立营。7月，改为英（山）霍（山）潜（山）太（湖）4县游击师，师长傅以明，政委刘正北。另外，潜山成立有战斗营，共300余人，营长易元鳌，政委熊桐柏，活动于潜山、太湖之间。
民国25年，中共皖鄂边区特委组建潜太游击队，队员100余名，编为战斗第一营。次年初，将活动于湖北蕲春、黄梅一带的游击队改编为第二营。
民国27年6月，在泊湖地区建立长江游击队泊湖大队，大队长商群。在潜山成立直属游击队，100余人，张铭任大队长。第二年改为特务营，下辖3个连，共300余人。同年，宋海珊、叶树槐在桐城成立桐西游击队第九连。稍后，由张振中领导的武装改编为第八连。秋，在桐城组建起一支50多人的抗日游击队，周复安、陈雪江任正、副队长。
民国28年2月，潜山抗日自卫团改为江北游击队第十八中队，共102人。4月，成立桐城第二游击大队，黄静寰任大队长，下辖4个中队。冬，新四军沿江游击大队由大队长商群率领，进入宿松、望江，开辟抗日根据地。次年4月改为长江游击队，队员100余人。民国29年2月下旬，桐城成立江北游击纵队特务大队第二连，建立以陈瑶湖为中心的桐东游击根据地。5月，改编方瑛、林亚斌所率部队，加委为第六连，合编为一个大队，方瑛任大队长。7月，林维先率领挺进团第一、三大队与方瑛所率的武装会合，10月编入挺进团第二大队，由地方武装升为主力部队。同年，由总指挥周静轩、队长杨庆堂率领的长江游击自卫队，活动于太湖、宿松、望江边境。不久，改名为长江挺进队，队员达200余人。
民国30年2月，在宿松组建黄湖游击队，队员300余人，拥有机枪5挺、小炮3门、长短枪100余支，商群、刘宗超任正、副大队长。8月改为独立团，刘宗超任团长。另外成立独立大队，商群任大队长。民国32年1月，改独立大队为长江游击队；2月，又改为江南挺进队。民国34年9月，该部开赴鄂东。
民国32年3月，杨杰、马守一等到桐南花山成立沿江支队第八连。冬，沿江支队下属4个大队与贵池游击大队合编为沿江独立团，次年4月渡江到贵池西部。
民国34年新四军北撤，留下的沿江团三营九连和手枪队合编为皖西大队，钟大湖任大队长，桂林栖任政委。
民国35年8月成立皖西支队，钟大湖任支队长，下辖3个大队。次年夏，潜山水吼岭游击队改编为第三大队，怀宁大队编为第四大队，另新成立太湖大队、望江大队，全支队计1600余人。11月，组建皖西军区第一、第二分区。一分区辖岳西、潜山、太湖、宿松、望江、怀宁6个县大队；二分区辖桐城、桐庐（今枞阳）县大队。民国37年3月，成立桐城独立团，马国良任团长。民国38年6月，皖西军分区第一、二分区合并成立安庆军分区，司令员孔令甫，政委桂林栖。下辖九团、十团、岳西团、直属警卫连、机炮连、教导队和江北7个县大队（除岳西县）、10个基干连、33个区干队，共5925人。1950年6月，分区所属部队整编为第一至五营。9月，各县成立人民武装部，县大队改为公安连，教导队改为复员大队。冬，分区所属31个连共2100余人，将部分补充到主力部队，剩下的编为警备一、二、三营，复员大队取消，成立轮训队。
1951年2月，分区成立新兵团，县公安连扩编为独立营。10月，分区所属部队及各县独立营改编为新兵三十一团，输送到主力部队；轮训队改为教导队。
1952年1月，池州军分区合并到安庆军分区，机关官兵共685人，司令员金行生。1956年9月，司令员李昆离任，夏群接替。
1958年5月，地方武装编制缩减，限定军分区官兵为60人，县人武部官兵为20人。10月，司令员夏群离任，钟国琴接替。1961年，铜陵市人民武装部划归省军区领导。1965年8月，安庆军分区所辖的铜陵、青阳、贵池、东至4县人武部划出，归新设立的池州军分区领导。时夏群接替钟国琴任安庆军分区司令员。1969年11月，胡守富任司令员。
1975年4月，奉中央军委命令，浙江台州军分区机关和所属天合、仙居、三门、临海、黄岩、温岭、玉环7县人民武装部，与安庆军分区所属岳西、潜山、怀宁、枞阳、桐城、宿松、望江7县人民武装部换防。全区部队共1790人，司令员蒋玉和，政委张序昭。1980年，池州军分区撤销，原辖贵池、东至两县人武部划属安庆军分区。1982年6月，军分区司令员郎毅，地委书记侯玉琨兼政委。
1985年11月，根据中共中央决定：县（市）人民武装部改为地方建制。1986年，全区10县人武部正式划为地方建制，但民兵预备役及有关军事业务仍属军分区领导。
1988年10月，安庆地区与安庆市合并，池州地区恢复建制，贵池、东至两县人民武装部划归池州军分区，其它8县人武部仍属安庆军分区。