道光二十年（1840年）鸦片战争以后，帝国主义列强势力侵入中国，英、法、日等帝国主义便在“国中之国”的租界内设立专门的警察机构“巡捕房”。芜湖在英、法等外国人居住区设“工巡局”。光绪二十七年（1901年）清政府在北京创建“协巡营”（后改称工巡总局），这是警察、市政和司法三者合一的机构。遂后，北洋大臣袁世凯在天津试办巡警局，清政府通令各省仿办。光绪二十八年，安徽在芜湖创办巡警，这便是安徽建警之始。然后，在州县镇和关津要塞逐步建立。
北洋军阀统治时期，安徽除了警察局外，安徽都督倪嗣冲还在安庆、蚌埠、寿县、芜湖等地成立“探访局”、“军法科”、“绥靖处”、“军警联合会”等警察特务机关。
民国16年（1927年）国民政府建立后，警察组织进一步扩充，职权进一步扩大，职能进一步强化。特务机构林立，城乡特务如麻是国民政府统治时期安徽的一大特色。从中央到地方，从蒋介石嫡系到各军阀各派系的特务机关遍布安徽各市县镇。同时，将鄂豫皖三省划为所谓“剿匪区”，并在三省制定施行编查户口法。民国17年7月，国民政府颁布保安团法，安徽50余县全部建立了保安团（后改称保安队）或巡察队、壮丁队等，省建立保安司令部，直属有庞大的保安部队。民国21年，国民政府保甲组织首先在接近皖西苏维埃革命根据地的国民党统治区建立起来，民国22年推广于全省。
安徽人民警察，萌芽于本世纪20年代末30年代初的革命根据地——皖西苏区；抗日战争、解放战争时期在根据地（解放区）得到进一步发展。其机构名称先后有：肃反委员会、政治保卫局、保安处、公安局。其组织机构逐步完善，职责任务逐步明确，规章制度逐步建立。自人民警察机关在革命根据地创立时起，它一直是中共安徽省各级地方组织及其领导的苏维埃政府、抗日民主政府、解放区人民政府的重要组成部分，担负着保卫革命政权，惩治汉奸恶霸，镇压土豪劣绅，打击反革命分子，维护根据地社会治安的重要任务。
建国以后，随着中共安徽省委和省人民政府及各级党政机关的建立健全，安徽人民公安机构的建设得到很大发展。1952年随着皖南、皖北行政公署撤销，恢复安徽省行政建制，建立了统一的安徽省人民政府公安机关。各级地方公安机关也相继建立，担负对敌专政和惩治犯罪、保障人民民主和公民合法权益不受侵害、实施社会治安行政管理的重要职能。
“文化大革命”期间，在“四人帮”“砸烂公检法”的暄嚣声中，安徽各级公安机关受到严重冲击，连同检察机关、审判机关一起被军事管制，从省到地市县的公检法军事管制委员会，代行了公检法三机关的职权。与此同时，一些公安干警被打成“特务”、“叛徒”、“走资派”、“反革命分子”等，受到残酷迫害；一大批公安干警被下放农村劳动。
粉碎“四人帮”，特别是中共十一届三中全会后，安徽逐步恢复完善了各级公安机构，增加了公安干警，加强了装备，公安工作和警察队伍建设开始走向新的里程。