建国以前，各县未设专门检察机构。民国32年(1943)前，县知事(县长)行使检察权。同年，各县成立地方法院，审判、检察分权行使，同院办公。
建国后，1950年10月，人民检察署成立，与专署公安处合署办公，检察长由公安处长兼任。同期宣城专区各县建立县人民检察署，与县公安局合署办公，公安局长兼任检察长。
1951年3月，宣城专区检察署改称皖南人民检察署宣城专区分署。
1952年改为芜湖专区检察分署。1954年12月，根据《中华人民共和国检察组织法》改芜湖分署为安徽省人民检察院芜湖分院，受省人民检察院领导。同期各县人民检察署改人民检察院，受芜湖分院领导，检察长不再由公安处、局长兼任。
“文化大革命”期间，1967年，公、检、法机关瘫痪。1968年，地、县成立公、检、法军事管制小组(后改军事管制委员会)，代行公、检、法职能。
1975年起，各级检察职能由各级公安机关行使。1978年，根据中共中央(1978)21文件指示，重建安徽省人民检察院芜湖分院，各县亦于1979年底相继重建人民检察院。
1980年，芜湖分院改称安徽省人民检察院宣城分院，并重新组建检察委员会，各县亦相继重建检察委员会。
1982年起，宣城分院检察长由地委推荐，省人大常委会任命。所属县检察院检察长由同级人民代表大会选举产生。
1987年，宣城分院和各县检察院均内设刑事检察科、法纪检察科、经济检察科、监所检察科、控告申诉检察科和办公室。