1949年合肥建市时，由于农田面积小(4.38平方公里)，市府未设水利机构，沿袭民国时期合肥县政府旧制，由市府建设科主管水利。
1951年，肥东、肥西两县一部分乡、村划入成立合肥市郊区。面积扩大到130.73平方公里，耕地增加到76687亩后，中共合肥市委于1952年11月，设置农村工作委员会，全市农林水利工作从建设科划出，统由市委农村工作委员会一元化领导。1955年4月，市委撤销农委，成立农村工作部，市政府成立农林水利办公室。市委农村工作部负责党的方针政策在农水部门的贯彻执行；市农林水利办公室负责农林水利工作的行政领导。1956年1月，撤销市委农工部、市农林水利办公室，成立市人委农林水利科。1957年11月，撤销市农林水利科，水利具体业务由郊区水利办公室负责办理。
1958年，蚌埠专区的肥东县、六安专区的肥西县和芜湖专区的巢县划入合肥市，市成立农林水利局，9月中旬，农林、水利分开，正式成立合肥市水利局，局内设人秘、工程、农田水利、财务器材4科，辖董铺水库管理处和合肥市水文站。
1963年5月，市直机关精简机构，中共合肥市委决定合肥市农业、水利局合并，成立合肥市农业水利局，并迁至郊区与郊区水利科合署办公。
1965年5月，新设长丰县划入。1966年2月，市委决定撤销合肥市农业水利局，决定成立中共合肥市委农村工作委员会、市人委农林水利办公室，两块牌子，一个机构，合署办公，编制30人，内设一水利科，编制5人。1967年1月，两机构正值调配工作人员之际，“文化大革命”进入大动乱时期，“造反派”夺权。农委、农办还未成立即无形消失。1967年初至1968年4月，合肥市“革命大联委”、“军事管制委员会”中有3人分工水利。
1968年4月，合肥市革命委员会成立，内设生产指挥组农业小组，进入农业小组的4人，2人分工水利。
1971年2月，农业小组撤销，成立合肥市农林水利局，同时成立合肥市革命委员会农林水利办公室，局、办合署办公，两块牌子，一个机构，内设一水利科(其他科略)。1976年3月，撤销合肥市农林水利局，保留合肥市农林水利办公室，水利科成为农办一个职能科室。
1979年8月，经中共合肥市委常委会决定，重新组建合肥市水利局，内设政秘科(后改办公室)、工程管理科、工程设计科(后改计划基建科)、财务器材科。直属单位有：合肥市水利勘测设计室、合肥市水利排灌管理站、合肥市水利器材站、合肥市董铺水库管理处、滁河干渠管理分局。