建市初期，建材工业十分落后，只有十几座马蹄窑和几座土窑，只有砖、石灰等产品。市政建设和城乡基本建设所需建筑材料都需从外地购进。进入70年代，建材工业得到发展，先后建成砖瓦厂、水泥厂和卫生陶瓷厂。产品有砖瓦、石灰、水泥、釉面砖等。1977至1984年，建材工业重点发展以机械化制坯、轮窑焙烧工艺为主的砖瓦工业，改造和淘汰了劳动强度大、能耗高、污染严重、工艺落后的手工脱坯、马蹄窑焙烧的窑厂。这一时期，全市共建成投产轮窑厂111家，新上制砖机113台(套)，双轴搅拌机169台。1984年产砖61746万块，机制平瓦1577.5万片，基本满足城乡建设的需求。到1985年，全市县以上共有全民建材企业8家，职工2956人，固定资产原值5064万元，产值1556.98万元，利税333万元。1986至1990年，重点发展以机械化立窑生产工艺为代表的小水泥工业。到1990年共投资4000万元，改造、建设机械化立窑水泥厂共30家。1990年共生产水泥104.25万吨，比1985年增长135.06%，不仅满足全市城乡建设的需要，还销往马鞍山、合肥、六安、蚌埠、宿县、阜阳等地市和上海、江苏、河南等省(市)，并出口韩国。1990年以后，重点发展新型建筑材料工业，建成市门窗公司、淮北煤矿新型建材总厂、中外合资淮鹭塑料异型材有限公司等一批新型建筑材料生产企业，先后投资建成彩板门窗生产线、煤矸石空心砖生产线等新型建筑材料生产设备。到1992年，全市共有建材企业550个，职工44278人；固定资产原值18566万元，完成工业总产值51488万元，占全市工业总产值的16.13%。建材工业成为全市的支柱产业之一。
1978年以前建材工业隶属市基本建设委员会领导。1978至1983年属市建筑材料工业局。1983年12月撤销建材局，成立市建筑材料工业公司，属市经委领导，1984年划归重工业局，1992年6月起建筑材料工业公司行使行业管理职能。