光绪三十年（1904年）以前，安徽煤矿多属私人开采，全省无统一的专门管理机构。此年6月，因省矿务管理需要，清政府批准设立了“安徽省全省矿务局”。民国时期，由于商办、官商合办、官办煤矿的发展，安徽省曾先后设立“商矿科”、“矿冶局”、“矿冶组”等机构，负责管理全省矿务。
建国后，安徽煤炭工业管理体制多变，但管理机构一直存在。建国初期，淮南煤矿由中央燃料工业部管理，省内地方煤矿由地方政府有关部门管理。1958年，淮南煤矿管理权限下放，为做好管理工作，6月，设立了“安徽省煤炭工业管理局”，10月，改为“安徽省煤炭工业局”，11月又改为“安徽省煤炭工业厅”。到1959年5月，厅机关已有11个处室，人员编制达150名。60年代初期，由于两淮煤矿管理体制上划，省煤矿管理机构撤销，省内地方煤矿的管理工作，由省重工业厅地质矿山处负责。60年代后期，两淮煤矿管理权限下放，省先后设立煤炭小组、煤炭工业管理站、煤炭化学工业局，负责管理省内煤矿。
1971年至1975年，又将安徽省煤炭化学工业局先后改为安徽省燃料化学工业局、安徽省煤炭工业局。此间，仍统一管理全省煤矿。1977年，两淮煤炭基地建设会战总指挥部成立，两淮煤炭基地建设交由会战总指挥部直接管理。1981年，安徽煤炭工业公司成立，两淮煤矿交由公司管理，安徽省煤炭工业厅负责管理地方煤矿。1985年，安徽煤炭工业公司撤销，两淮煤矿由煤炭工业部直接管理。到1986年，安徽煤炭工业从管理体制上看，基本上分为两个层次；两淮煤矿的生产建设、煤田地质勘探，由煤炭工业部管理；地方煤矿由省煤炭厅管理。