一、市图书馆
建于1953年5月，原名淮南图书馆，馆址在东升街，有平房11间。1958年淮滨路新馆建成，面积526平方米，后扩建为11066平方米。“文化大革命”时期曾一度闭馆，“文化大革命”结束后，图书馆正常对外开放。1982年，市馆筹建少儿阅览室，是年10月1日对外开放。1985年龙王沟路新馆大楼落成，面积为3067平方米，其中书库面积1050平方米。
市图书馆初建时有8300余册图书，1958年藏书为84796册，1986年藏书已达189026册。其中中文图书132276册，外文图书3000册，古籍图书8750册，期刊和各种报纸合订本45000册。
书库分设外借书库和资料书库。外借书库藏书125276册，资料书库藏书63750册。藏书中社会科学门类居多，科技图书偏重于煤炭、化工、轻工、电子、统计、机械等，煤炭工业类图书占有一定比例，品种齐全。在藏书中较珍贵的有线装本《古今图书集成》、《四部丛刊》、《百衲本廿四史》、《天一阁明代方志选》、《东北日报》、精装本重庆版《新华日报》以及《新青年》等。到1990年，除古籍线装图书沿用“人大法”外，其余全部采用“中图法”（第三版）分类。
从1986年起，图书著录按照国家出版局公布的普通图书著录条例规定，使用“标准著录”。有以书名为序排列的《书名目录》和以分类号排列的《分类目录》。
市图书馆与全国200多个兄弟馆建立了图书资料交换关系。
二、市少年儿童图书馆
位于田家庵区淮滨西路。成立于1986年10月，原隶属市图书馆，1988年独立。藏书16760册，其中社科类15295册，科技类1465册。书库面积80平方米，外借处20平方米，至1990年共办个人借书证1200个，集体借书证13个。图书外借实行部分半开架，全天开放。设综合阅览室，面积100平方米，座位60个。月接待小读者及家长600人(次)，平均每日外借图书200多册（次）。
1988年以后，少儿馆举办少儿故事会、诗歌朗诵会、作文比赛、书画展等各种活动。1989年选拔参加华东少儿读书大赛的选手中有2名获三等奖，1990年组织参加国际、国家、省、市、地区少儿书画比赛，有50余人获奖，其中获国际奖2人。少儿馆还协助建立小学基层图书室36个，举办少儿书画培训班7次，参加人达数百名。
三、基层图书馆（室）
1953年有电厂、大通煤矿、煤矿机械厂等厂、矿图书馆6所。1959年，全市基层图书馆发展到93所。1964～1965年发展重点在农村，分别在唐山、陶圩等社队建立图书流通站和图书室，“文化大革命”中停止发展。中共十一届三中全会后，全市图书馆（室）有了很大发展，1990年发展到264所。其中煤矿工会系统40所，其它中央、省、市属企业工会系统108所，教育系统77所，科研情报资料室30所，农村图书室8所。藏书总数280万册，专、兼职管理人员500余人。
为提高基层馆的业务素质，加强交流，充分发挥馆室作用，市馆牵头于1962年按地区建立了5个业务协作组，参加的基层馆（室）共50多个。1976年建立了7个网片，参加的基层馆（室）共92所。1978年建立了14个网片，参加的基层馆（室）达185个。1979年改为先按系统，后按地区划分为16个网片，参加的基层馆（室）达210个。到1990年增加到21个网片，264个基层馆（室）全部加入了业务协作活动。