水为万物之本，是人类文明的源泉，然而“水能载舟，亦能覆舟”，是一把双刃剑。自古以来，由于安徽特殊的地理条件，复杂的气候变化，水资源的分布不均，使这里既是一方沃土，又是水旱灾害频繁发生的地区。除水害兴水利，安徽人民世世代代治水不止，书写了一部治水的历史长卷。一部安徽经济社会的发展史，在某种意义上，也可以说是一部水利的兴衰史。
早在春秋中期，楚国令尹孙叔敖即在今寿县兴建芍陂(今名安丰塘)，开江淮地区古代人民兴修水利之先河。2500年前兴建的这座灌溉良田万顷的水利工程，经历代修治，至今还在发挥巨大的效益。秦汉时期，随着中国封建社会的建立和巩固，特别是汉初休养生息政策的实施，黄河流域的水利事业有了蓬勃发展，并影响到安徽江淮流域。相传汉初，在今舒城县兴建了七门堰灌溉工程。东汉初年，王景对芍陂进行了首次大修，使一座荒芜的芍陂恢复了灌溉效益。
三国两晋南北朝时期，是中国封建社会大动荡时期，也是各民族大融合的时期。战火纷仍，杀伐不断，国家分裂，江淮地区成为古战场，水利事业受到影响。但是，在战争的较量中，各民族统治者为了增强实力，保障军需，赢得胜利，也较重视农业生产。三国曹魏在江淮之间大兴屯田，除整修芍陂外，还先后在皖县(今潜山县)兴建吴塘堰，在居巢县(今巢县)兴建东兴塘，在涂中(今滁州)、历阳(今和县、庐江县)间兴建涂塘、瓦梁堰、铜城堰，使安徽长江以北，淮河以南连成了一片较大的水利区。吴国也在沿江的金钱湖、古丹阳湖围湖造田，形成了今日金宝圩和大公圩的雏形。两晋时期，江南少战事，山区人民拦河筑坝，引水灌田，以新安郡(今黄山市)的鲍南堨、吕堨等为代表的堨坝工程开始出现。南北朝时期，统治阶级“以水代兵”，水利工程成了战争的工具。据《梁书》记载，南朝梁武帝在淮河干流上筑浮山堰(位于今五河县境)灌寿阳(今寿县)魏军，堰成后次年的天监十五年(516年)八月溃决，酿成10万余人死亡的惨祸。
隋朝的建立，结束了中国分裂割据的局面。社会生产力得以复苏，水利事业也开始复兴。大业元年(605年)，隋炀帝征集百万民众开挖通济渠，自河南板渚引黄河水经商丘、永城、宿县、灵璧、虹县(今泗县)至盱眙县入淮，沟通黄淮，成为后来的南北水运大动脉。
隋炀帝好大喜功，大兴土木，国力匮乏，民不堪负，很快隋朝即告灭亡。唐朝立国后，特别是“安史之乱”以后，北方居民大量南迁淮河及长江流域，带来了先进的农耕技术，促进了南方的开发。全国统一、社会安定、经济繁荣，为水利事业的发展创造了良好条件。在今安徽省范围内，唐代兴建的水利工程遍布淮河两岸、大江南北。其中，灌溉百顷以上的工程近20处。唐代宗大历二年(767年)在宣州(今宣州市)兴建的德政陂(清改名佟公坝)至今仍发挥效益。宪宗元和四年(809年)在南陵县兴建的大农陂，达到灌田千顷的规模。灌田百顷以下的分布更广、数量更多。水利事业的发展，推动了农业经济的繁荣。晚唐时期，安徽成为唐王朝财政税收的主要来源之一。
唐末农民大起义瓦解唐王朝统治以后，出现了近半个世纪的五代十国大分裂局面。中原此起彼伏的战争，波及江淮地区。长江以南因“保境息民”，较为安定，兴办了一些圩堤工程。其余地区的水利工程废多兴少，水利事业走向衰败。
北宋初期，被战争破坏和其他原因废弃的水利工程开始得以修复。明道中期对芍陂进行整修，灌溉面积达到万顷。30年后，时任参知政事的王安石途经芍陂对该地的经济繁荣景象赞曰：“鲂鱼鲅鲅归城市，粳稻纷纷载酒船”。神宗熙宁二年(1069年)，修建宿县临涣三沟，灌田达数千顷。此前，汴河也得以多次疏浚。仁宗嘉勣元年(1056年)进行了汴河护岸工程。两宋时期，长江部分支流河道出现了筑堤御水的防洪工程。
北宋后期和南宋时期，长江以北江淮之间因受战争影响，水利兴修停滞不前。沿江和江南圩田得到发展。嘉勣六年(1061年)重修万春圩后，使该圩长达84里，堤脊植桑柳千万株；圩内开渠修路，置涵闸斗门，以调节水量，利于灌排。且设圩区圩董会，订立乡规民约，负责圩区管理维修。圩区水利极大地促进了当地的农业生产。《宋会要稿》记载，孝宗乾道三年(1167年)，仅宣城一县就有圩田179处。同时开始了联圩并圩，圩田规模日增。
两宋时期，水旱灾害明显增多。北宋期间，黄河就有几次溃决入淮。南宋高宗建炎二年(1128年)，杜充决黄河以阻金兵，致使黄河由东北入海改由东南入淮。黄河夺淮严重影响了安徽淮北地区，水旱灾害频繁发生。南宋灭亡后，元代曾在芍陂一代屯田。元惠宗至元二年(1336年)曾议修淮河堤堰，未果。至此水利步入衰落。
明朝初年，实行奖励垦荒和移民政策，运用政权的力量推动水利建设。沿江两岸的圩田发展很快。宣城县圩田几乎占全县田地的一半，芜湖县则尽是圩田。和州的铜城闸灌溉三千顷，田赋占全州的十分之三。从明太祖洪武二十六年(1393年)至孝宗弘治十五年(1502年)的105年间，和州实征租米增加到251%。
明末和清代，安徽淮河流域因黄河夺淮而洪水频仍，淮北原有水系格局被打乱。“蓄清刷黄”、“束清刷黄”的治黄方略的实施，抬高了淮河下游水位，安徽淮北地区洪涝灾害更加突出，排水问题日渐迫切。清代虽曾对淮北主要支流进行过疏浚，但黄强淮弱，黄水夹带的大量泥沙淤积河床，排水成效不大，从此内涝问题一直困扰淮北地区。明清时期沿江地区洪水灾害的频繁发生，客观上促进了堤防涵闸工程的发展。联圩并圩日盛，圩田规模不断扩大，圩堤标准随之提高，并逐步演变为外御江水的江堤。无为大堤和同马大堤在清末已基本形成。铜陵江堤、芜(湖)当(涂)江堤、马鞍山江堤以及和县江堤、枞阳江堤等也于此期形成。与过去历代相比，明清时期沿江圈圩筑堤，兴建长江堤防工程达到鼎盛。
鸦片战争以后，中国沦为半殖民地半封建社会，帝国主义入侵，政局动荡，军阀混战，经济萧条，严重影响安徽水利的发展。民国时期，38年间战乱不断，安徽兴建的水利工程极少，原建的工程又屡遭破坏。民国27年(1938年)后兴建的防黄工程仅备军事之需，水害未除，水利不兴。当时一些爱国知识分子，引进吸收西方先进科学技术，使水文观测、水利工程测量、工程地质勘探、水利工程规划、水工设计技术等有了新的发展，成为这一时期安徽水利事业的新特点。尽管这些新技术在具体工程建设方面实施较少；但是，这一时期的规划思想和积累的资料，为此后的安徽水利事业提供了借鉴。
宋代以后，安徽水旱灾害多于历代。尤其是黄河夺淮以后，黄河水患移害于淮河，遂使淮河流域水灾成为中华民族的心腹之患。劳动人民要求治淮的迫切愿望，迫使统治阶级不得不对这一关涉政权兴衰的大事而苦思良策。早在明代中叶，就有“分黄导淮”之议。清圣祖康熙三十五年(1696年)，总河董安国曾提出“导淮入江”。清文宗咸丰五年(1855年)黄河改道北徙后，导淮之声又起。10年后，两江总督曾国藩创设导淮局。德宗光绪三十二年(1906年)张謇建议设立导淮局。宣统三年(1911年)，组织江淮水利测量局，开展导淮的基础准备工作。从导淮之议提出至此300余年，始终是坐而论道，无任何实际行动。
民国元年(1912年)安徽督军柏文蔚提出“裁兵导淮”。次年，张謇出任全国水利局总裁，力倡导淮；但由于军阀混战，时局变迁，经费匮乏，仍未能付诸施行。民国18年(1929年)，国民政府成立导淮委员会，拟定了江海分疏的导淮原则，确定淮河中游以筑堤为主，兴建必要的涵闸工程。民国20年淮河流域特大洪水使安徽遭受惨重损失。大水过后，安徽淮河流域人民大力培修淮河干支流堤防，至民国23年(1934年)，培修淮河干支流土方达919.6万立方米，干流淮北大堤基本形成。民国27年，国民党军队奉命炸开黄河花园口大堤，企图以水代兵，阻止日本侵略军西进，酿成了惨绝人寰的大悲剧。豫东、皖北、苏北广大地区黄水过后，村庄倒塌，田地荒芜，人畜死亡，这一带变成历时9年的黄泛区。淮河流域水系被打乱，工程遭破坏，河道受壅阻，为以后的治理增加了难度。至中华人民共和国成立前夕，安徽淮河流域已是病人膏肓，“大雨大灾，小雨小灾，无雨旱灾”。水利事业江河日下，破败不堪，人民流离失所，饿殍遍野。
清末至民国时期，安徽长江流域的洪涝灾害虽不及淮河流域，但也较突出。宋明时期修建的堤防工程标准不高，圩田工程的盲目兴建，工程设施不完善，又降低了沿江湖泊调蓄洪水的能力。民国时期同马、无为大堤多次溃决后，遂转向以堤防涵闸工程为重点解决水利问题。民国元年(1912年)，成立堤工局，培修安徽沿江堤防。民国3年，安徽、湖北、江西3省联合修建马华堤达70多里。民国20年长江大洪水后，安徽大举修筑长江两岸堤防达639公里，乃近代长江安徽段一次最大的堤防工程。民国24年长江大水致使马华堤、广成圩等沿江干支堤防多有溃决。是年冬至次年夏安徽沿江两岸进行了大规模的堵口复堤工程，相继兴建了一批涵闸工程。但由于工程标准不高，一遇较大洪水，多有溃决，加之从民国26年开始，日军相继侵占，水利设施人为破坏严重，曾为沿江和江南的富庶与繁荣做出过极大贡献的水利事业至此已严重衰败。
经历了2500多年的兴衰起伏，安徽水利事业随着中华人民共和国的诞生，进入了蓬勃发展的新时期。1950年7月，淮河流域的洪涝灾害牵动着共和国最高领导人的心。1950年10月14日，中央人民政府政务院颁发了《关于治理淮河的决定》，1951年春天，毛泽东主席发出了“一定要把淮河修好”的伟大号召。中共中央根治淮河的决心和信心，与世世代代饱受淮河水患之苦的淮河流域人民的迫切愿望产生强烈共鸣，汇成了规模空前的治淮洪流。300万民工和数万名水利技术人员从四面八方奔赴治淮工地，揭开了当代安徽水利新篇章。从1950年至1957年，实施了淮河干流和支流治理，兴建山谷水库以及利用湖泊洼地蓄洪的治淮工程。修筑、加高培厚了淮北大堤，疏浚了重要支流，兴建了佛子岭、梅山、响洪甸、磨子潭4座大型山谷水库和城西湖、城东湖、溕河洼地、瓦埠湖4处蓄洪区，实施了五河以下内外水分流工程，成功地解决了这一地区洪涝矛盾。淮北大堤成为安徽淮北地区国家能源和商品粮基地，以及中国东部南北交通大动脉的防洪屏障，它与其他工程一起，初步形成了淮河中游防洪工程体系，有效地抗御了1954年以后发生的多次大洪水，为安徽水利事业的进一步发展打下了基础。1958年至1977年，全国先后发生“大跃进”、国民经济严重困难和“文化大革命”。1958年，在“鼓足干劲，力争上游，多快好省地建设社会主义”总路线指导下，安徽省提出“三年实现淮北河网化，全省水利化”的口号。河网化、蚌埠闸、临淮岗水库、淠史杭灌区等10大项水利工程相继开工。黄栗树、沙河集和撮镇、炉桥等49项大中型水库和排灌站工程全面铺开。河网化是在淮北地区除涝以蓄水为主的思想指导下，以大规模推广水稻种植和通航为目的而实施的大型水利工程。由于这一工程违背了自然规律，偏离了“蓄泄兼筹”的治淮方针，打乱了自然水系，引起了多种水事纠纷，超出了人民的承受能力，以轰轰烈烈开始，以半途而废告终。临淮岗水库自1959年兴建，至1961年，深孔闸、浅孔闸、上下游引河，以及部分拦河坝工程相继竣工，1962年因国民经济严重困难，水利投资减少而停建，致使这一可将淮河干流防洪标准由不足40年一遇提高到百年一遇的洪水控制枢纽工程至今也没能复建。淠史杭灌区是这一时期的水利工程杰作，取得了巨大成功。60年代初期，随着国民经济的调整，安徽省贯彻执行“小型为主，配套为主，社队自办为主”的水利建设方针，调整了布局，压缩了项目，并力图改造利用河网化的部分工程。60年代中后期，宿县专区的30万民工与豫、苏两省人民团结协作，开挖了长达127.1公里的新汴河，改善了排水条件，减轻了洪水压力，提高了排涝标准，促进了航运和灌溉事业的发展。60年代末至70年代中后期，安徽水利在“文化大革命”中曲折前进，淮北地区开挖了茨淮新河和怀洪新河。新汴河、茨淮新河和怀洪新河3条大型骨干河道的开挖，对淮北支流水系进行了较大的调整，形成了今日淮北地区水系的新格局。1978年中共十一届三中全会以后至1988年，通过“拨乱反正”、总结历史经验，安徽的治淮事业进入了健康发展的新时期。这期间，国务院先后于1981年和1985年召开了治淮工作会议，根据这两次治淮会议精神，安徽省清理了在建项目，停缓建一批工程，调整了水利投资方向。进一步完善安徽淮河中游防洪规划，先后对病、险水库和淮北大堤进行除险加固，加强行蓄洪区内部建设，拓宽中游行洪通道工程。从1985年开始，引进世界银行贷款，完善淠史杭灌区的配套工程，灌溉效益得到稳步发挥。
在治淮工程实施的同时，治理长江也取得了很大成绩。堤防工程得到了全面整修和加固，防洪能力得到较大提高。1956年至1979年，还在长江支流上先后兴建了董铺水库、龙河口水库、花凉亭水库、陈村水库、沙河集水库和黄栗树等6座大型水库和42座中型水库，并促成了驷马山、花凉亭、青弋江灌区的建设，发挥了巨大的经济和社会效益。与此同时，巢湖流域的综合治理也有较大进展，实施了堤防修建、湖区治理、河道疏竣、巢湖闸、裕溪闸等工程。1985年底，引进世界银行外资，投入巢湖治理。
从春秋中期兴建芍陂蓄水灌溉工程时起，安徽水利事业走过了2500多年漫长的道路。古代劳动人民兴建的一些著名水利工程，曾为安徽的社会经济发展做出了重大贡献，但是受社会制度和科学技术条件的限制，很难持续规划实施大规模水利建设。处于半封建半殖民地制度下的近代，安徽水利工程废多兴少，水利事业举步维艰。中华人民共和国成立后，安徽水利事业才开创了新的局面，取得了历史上从未有过的巨大成就。
中华人民共和国成立初至1988年40年，安徽省用于水利建设的经费总计71.3亿元。建成水库4689座，其中大型水库10座，中型水库98座，小型水库4581座。建成水闸7765座，其中大型水闸36座，中型水闸240座，小型4264座。整治河道400多条，总长8166公里。修筑堤防长19万公里。修建沿淮行蓄洪区22处。打机电井10.9万眼。整修塘坝近百万处。建成万亩以上灌区384处。发展电力排灌设备260多万千瓦。开发利用水力资源48.31万千瓦，其中小水电11.8万千瓦。治理水土流失面积1.4万平方公里。40年来，共完成水利工程土石方160亿立方米，混凝土790万立方米。
经过40年的治理，提高了江河防洪标准，初步控制了洪涝灾害。至1988年，全省达到20年一遇防洪标准农田有1750万亩，占需防洪保护耕地面积的70%。40年来累计减、免洪水淹没面积达4277万亩。防涝除渍，改善了农业生产条件。全省达到3～5年一遇标准的除涝面积共有2887万亩，占易涝面积的81.3%。发展灌溉，促进农业稳产高产。1988年全省有效灌溉面积达3727万亩，占总耕地面积的50.5%，比1949年增加近3倍。建成旱涝保收农田2633万亩，占总耕地面积的40%，比1949年增加近20倍。
建国以后，安徽水利事业虽然取得了巨大成绩，但与快速发展的经济对水利的要求相比，还有较大差距。江河堤防的防洪标准偏低，现有的工程设施还难以解除大的旱涝灾害对农业生产的危害。工程、设备老化，配套不完善，影响工程效益的发挥。水资源保护和综合开发利用，还有十分巨大的潜力。安徽的水利事业任重而道远。