1950年10月，政务院做出的《关于治理淮河的决定》中明确提出，在淮河上游筹建水库。1951年4月，治淮委员会工程部提出了《关于治淮方略的初步报告》，报告确定，在淮河、洪河、颍河以及右岸各支流共兴建16座水库。其中包括安徽史河上游的梅山水库，淠河东源佛子岭水库，淠河西源长竹园水库(即响洪甸水库)。1956年，治淮委员会编制的《淮河流域规划》提出，除梅山、佛子岭水库外，在安徽淠河上增建磨子潭、两河口水库。1952年1月至1968年，安徽省先后建成佛子岭、梅山、响洪甸、磨子潭4座大型山谷水库。4座水库总库容57.4亿立方米。其中响洪甸水库总库容26.3亿立方米，梅山水库总库容22.75亿立方米，是淮河流域两座最大的水库。这4座水库汛期拦蓄山洪，配合沿淮蓄洪区联合运用，确保淮北大堤安全，防洪效益十分显著，并为发电、航运、水产养殖，以及淠史杭灌区的综合开发利用创造了条件。
佛子岭水库位于安徽省霍山县淠河东源上，控制流域面积1840平方公里(含磨子潭水库控制面积570平方公里)，占淠河全流域面积6000平方公里的30.7%。总库容4.96亿立方米，相应校核洪水位130米，汛限水位117.56米，兴利水位125.56米，死水位108.76米。兴利库容2.7亿立方米，死库容1.25亿立方米。水库枢纽工程由拦河坝、溢洪道、泄洪钢管和发电厂4大部分组成。佛子岭水库是建国后自行设计、独立施工的旷古未有的、高技术性的第一座大型钢筋混凝土连拱坝水库，于1952年1月9日动工，1954年11月5日竣工。此后，随着水利水电事业的发展，根据原设计标准和已出现的洪水情况，人民政府先后于1957年、1958年、1965年、1970年、1982年至1983年4次进行加固和扩建。40年来，佛子岭水库与响洪甸水库累计灌溉面积达1.7亿亩，增产粮食143亿公斤。佛子岭水电站至1988年累计发电26亿度，水库还兼有养鱼及改善库区的航运等效益。
佛子岭水库建成后，梅山、响洪甸和磨子潭水库也分别于1956年、1958年、1959年建成。梅山水库大坝仍采用钢筋混凝土连拱坝，坝高88.24米；响洪甸水库大坝采用单拱重力坝，坝高87.5米；磨子潭水库大坝采用双支墩混凝土坝，坝高82米。这几座大坝在当时国内同类大坝中都是最高的。梅山水库位于金寨县境内的史河上游，控制流域面积1970平方公里，近期汛限水位为125.27米，汛后兴利蓄水位128米(1988年改为126米)，总库容22.75亿立方米，其中为淮河干流蓄洪库容10亿立方米。响洪甸水库位于金寨县境淠河西源上，控制山区流域面积1430平方公里，近期汛限水位125米，千年一遇和万年一遇洪水位分别为141.5米和143.6米，总库容26.32亿立方米。磨子潭水库位于霍山县佛子岭水库上游东流河上，控制流域面积570平方公里，近期汛限水位177.0米，设计洪水位196.5米，校核洪水位202.8米，总库容3.37亿立方米。