民国12年(1923年)至13年，在外地求学的朱务平、赵西凡、郑子瑜等，先后加入了中国社会主义青年团和中国共产党，成为淮北最早的一批党、团员。民国14年8月，淮北的第一个党支部——中国共产党濉溪支部建立。支部书记苏少力，党员12人，支部驻地濉溪镇，隶属中共中央局领导。民国15年上半年，中国共产党临涣特别支部建立。特支书记朱务平，党员12人，特支驻地临涣镇，隶属中共南京地委领导。7月，中共临涣特支更名为中共临涣独立支部，隶属中共上海区委领导。民国16年8月，徐风笑奉中共安徽省临时委员会之命组建中共宿县临时委员会，中共临涣独立支部结束。
民国16年(1927年)下半年，烈山煤矿建立了特别支部，临涣、濉溪、百善、古饶相继建立区委。中共烈山特支先后隶属中共宿县临委、中共宿县县委、中共徐海蚌特委、中共徐州地委领导。临涣、濉溪、百善、古饶4个区委先后隶属宿县临委和宿县县委领导。民国22年8月，中共徐州特委及其所辖中共宿县县委遭到破坏，下辖各地党组织与上级失去联系，先后停止活动。民国27年2月，中共党员戴晓东受命负责宿县党组织的恢复工作；6月，中共宿县特别支部成立，特支隶属中共苏鲁豫特委领导。民国28年2月，中共宿县特支改为中共宿县县委，隶属于中共萧县中心县委领导，县委书记李时庄；6月，中共山东分局苏鲁豫区委员会决定，以津浦路为界，将宿县划分为宿东、宿西两个县，组建两个县委。宿西县为今濉溪县的前身。民国29年9月，中共宿西县委改属中共豫皖苏边区委陇海路南地委领导；10月，中共宿西县委改为中共宿西县工作委员会，仍隶属于中共陇海路南地委。民国30年5月，宿西、萧县抗日根据地的党、政、军人员奉命随新四军四师主力部队转移到津浦路东洪泽湖一带。是月，中共宿西秘密县委建立，隶属于中共路西地委，秘密县委书记吴忠培。民国33年8月，宿西县党、政、军组织重新建立。抗日战争结束时，宿西县有中共党员766人。
民国34年(1945年)9月，新四军攻克濉溪口，中共淮北第二地委和宿西县委进驻濉溪口；10月，中共淮北第二地委改为中共华中分局第八地委，地委书记吴芝圃。民国35年6月下旬，中国全面内战爆发，豫皖苏边地区党、政、军人员被迫西撤至河南睢(县)杞(县)太(康)地区。是年底，原属中共华中分局领导的第八地委改为中共豫皖苏区委员会领导的第三地委，辖淮北津浦路西各县。民国36年2月，第三地委决定建立中共萧(县)宿(县)永(城)工作委员会；5月改为中共萧宿永县委；11月，撤销中共萧宿永县委，成立宿西、萧县、永城3个县委。民国37年3月，划出宿西县巴股河以北全部和萧县南部3个区组建萧宿县。民国38年3月1日，撤销萧宿县，恢复各县原建制；6月，宿西县和宿东县合并为宿县，中共宿县县委隶属于中共宿县地委。至新中国成立前夕，在淮北市辖区范围宿县所辖宿西地区建立了8个区委；萧县辖区内成立了中共朔里区委。
1950年6月，经政务院批准，组建濉溪县；6月23日，成立中共濉溪县委。1950年6月至1956年4月，中共濉溪县委隶属于中共宿县地委；1956年4月至1961年3月，隶属于中共蚌埠地委；1961年3月至1977年1月隶属于中共宿县地委。1977年1月22日，经国务院批准，濉溪县由宿县地区划归淮北市管辖，中共濉溪县委改属中共淮北市委领导。
1958年5月5日，淮北煤矿筹备处正式成立；6月4日，中国共产党淮北煤矿委员会成立，高心泰任书记，中共淮北煤矿委员会直属中共安徽省委领导。1959年1月31日，经中共安徽省委批准，成立中国共产党濉溪市委员会，隶属中共安徽省委领导，高心泰任市委书记(兼)。1960年4月6日，安徽省委决定建立濉溪市。濉溪市党组织建设发展较快，到1965年底，全市建立党委17个，党总支15个。
“文化大革命”期间，全市各级党组织受到冲击，一度处于瘫痪、半瘫痪状态。1969年6月，中共濉溪市革命委员会核心小组成立。1970年11月，濉溪市和淮北矿务局合并。1971年4月2日，国务院决定将濉溪市改名为淮北市；5月5日，中国共产党淮北市第一次代表大会召开，大会选举产生了中共淮北市第一届委员会。1973年6月15日，中共安徽省委决定，淮北市和淮北矿务局分开，恢复淮北矿务局建制。
至1992年底，中共淮北市委直辖相山区、杜集区、烈山区3个区委和濉溪县县委。全市建立党委159个，党组72个，党总支223个，党支部3875个，中共党员发展到74718人。