淮北市地处淮北平原中部，地势自西北向东南微倾，除东北部有少量低山地形分布外，其余为广阔平原。其主要类型是：山丘、平原、湖洼地、河流。
一、山丘
山脉主要分布在北部及中部偏东，系泰山余脉。根据其展布方向及自然组合，可将其分为东部、中部、西部山脉3部分。
东部山脉，东支从萧县皇藏峪桥顶山开始到宿县符离止，为低山丘陵地貌，并向北延伸出境，山脉北高向南降低，至符离集骤然消失。一般海拔高度200～300米，最高山峰老龙脊海拔362.9米。山势较陡峻，岩石裸露，常形成羊群地貌。
中部山脉，东从闸河西到巴河，北从青龙山南至诸阳山，为残丘地形，山脉走向近南北断续分布，或呈孤岛状。山势低矮，海拔高度60～90米，多由灰岩组成。
西部山脉，北起萧县龙城镇东北祁村，南止于淮北市渠沟，自东北向西南延伸。主要山峰有：义安山、苗山、程蒋山、相山等。境内最高山峰相山，海拔342.8米。
二、平原
境内除北、东部有少量山脉分布外，余者皆为一望无际的平原。其海拔高度23.5～32.4米，面积2354.5平方公里，占全市总面积的85%。以横贯平原中部的古隋堤（今宿永公路）为界，北部为黄泛冲积平原区，南部为古老河湖沉积平原。
黄泛冲积平原包括刘桥、相山、杜集、烈山、城关、马桥、百善、四铺、铁佛等地区，为黄泛冲积物覆盖，属冲积成因的堆积地形。区内土壤肥沃，地面平整，地下水丰富。
古老河湖沉积平原包括双堆、南坪、孙疃、五沟、临涣等地区，为黄土性古河流沉积物覆盖，属剥蚀堆积地形。由于沉积较早，在漫长的成土过程中，沉积之初富含的碳酸钙被淋洗到底层，加上地下水的影响，形成不同形状的砂礓。该区地势较低，地下水位较高，土壤以砂礓黑土为主，地瘦、质差，但增产潜力大。
三、湖洼地
封闭型湖洼地主要分布在四铺、百善、铁佛等地区，全系耕地。该湖洼地的形成，是由于隋运河南岸决口所致。当隋堤南岸决口时，在决口处由于水流速度骤减，泥砂在其附近大量沉积，形成高于地面的“岭子地形”，而在两个岭子地形之间，便形成封闭型湖洼地。其特点是湖底带水性大，四周保水差。主要湖洼地有卧龙湖、叶刘湖、关家湖、尹湖、油榨湖、练干湖、陈大湖、运粮湖、邱湖、杨家湖、四平湖、孤山湖、雁鸣湖、时湖、百里湖、沈姜湖、南湖、小湖等。总面积为86.67平方公里。
四、河流
淮北市境内水系发育，沟渠纵横，主干河道有14条，大沟100余条，分属濉河水系、南沱河水系、新北沱河水系、澥河水系、北淝河水系5个水系。
河流多系人工河道，河道平直，水量受季节影响，变化较大，夏季河（沟）水骤涨、水流量大、水流急，冬季因降水少、河水变浅，水流缓慢。
境内河流均受到不同程度的污染，特别是岱河、龙河、濉河等污染最为严重。
五、塌陷湖泊
由于煤炭的开采，造成地表塌陷积水而形成湖泊，矿区人为地貌发生了很大变化。至1992年底，全市辖区内形成大小塌陷湖泊30余个，常年积水面积7.98平方公里，占总塌陷面积的38%，多年平均蓄水量为3040万立方米，占全市平均地表蓄水量的34.4%。
塌陷湖泊在煤矿集中的闸河煤田地区也相对集中，从市区北部的沈庄、袁庄矿经过岱河、石台、朔里、朱庄、张庄矿至杨庄、烈山矿，呈带状分布，并伴随煤炭开采，塌陷湖泊面积、深度逐年增大。在淮北矿区地下普遍有一层粘土隔水层,采煤塌陷区蓄水,对地下采煤并不造成危害。塌陷湖泊，水质好、浮游生物多、污染少，适合鱼类生长。