建国前，在土地革命战争、抗日战争和解放战争时期，皖西苏维埃政府、淮北和淮南以及皖江革命根据地抗日民主政府，皖南、皖北解放区人民政府都先后组建了警卫营、警备团、保卫队、警卫队、公安队等名称不同的人民武装力量，以担负根据地和解放区的治安保卫、领导机关警卫、锄奸反特、看押罪犯等项任务。
解放初期，皖北解放区成立了皖北公安总队。随后，皖南解放区建立了公安武装科。蚌埠、淮南、合肥、芜湖、安庆等城市也组建了以解放军为主体的警备部队，各县同时组建了中队（或大队）。这些部队主要执行领导人和政权机关警卫、守备城市、剿匪肃特、看押罪犯、维护社会治安和守护铁路安全等项任务。建国后，这支部队经过8次较大的改编。
在保卫和巩固新生人民政权的斗争中，这支部队积极投入了剿匪、平息反革命暴乱、镇压反革命、围歼台湾国民党空降武装特务的斗争。在各项执勤中，有力地打击了反革命分子和各种刑事犯罪分子的破坏活动。几十年来，担负了党政领导人、领导机关及国宾、外宾警卫任务；执行了节日、集会外宾参观访问的临时警卫任务；守卫了重要的工厂、仓库、电台、机场和机密设施；守护了安徽铁路线上的重要桥梁；护送了大批的战备物资；看守着全省的监狱，犯人劳动改造场所和人犯看守所；完成了公安政法机关交给的逮捕、押解和行刑任务；在边防检查中维护了祖国的尊严。在斗争中，涌现出郭章清等一大批英雄模范，培养出一大批部队和地方两用人才。