望江，夏、商时属扬州地域，西周时属舒国，春秋时前属吴、后属越，秦时属九江郡，西汉时属淮南国，东汉、三国、西晋时均属庐江郡。
东晋隆安至元兴年间设大雷戍，属庐江郡。义熙元年(405)始设新冶县，属豫州晋熙郡。清乾隆三十三年《望江县志》载：“皖出铁，有铁官。今怀西望北有古冶迹，武昌口有炼成墩，漳湖之表有炼成畈……椅子、磨叉间有坑矿，县名新冶，职此之由也。”
南朝陈天嘉年间(560～566)升新冶县为大雷郡，属江州。
隋开皇十一年(591)改大雷郡为义乡县，属熙州。乾隆三十三年《望江县志》载：“陈、隋间，县有义士助国平时难，隋文帝旌为义乡。”开皇十八年(598)改义乡县为望江县，属同安郡。县城东南的宝塔河一带曾是长江故道，登城中钵盂山，可一览江流之胜，故名望江。
唐武德四年(621)改望江县为高州，属舒州同安郡。武德七年改高州为智州，属淮南道同安郡。至德二年(757)废智州复望江县，属淮南道盛唐郡严州。
北宋至道初(995～997)望江属淮南路舒州。政和五年(1115)属淮西路德庆军。
南宋绍兴十七年(1147)望江属淮西路安庆军。庆元元年(1195)属淮西路安庆府。
元至元十四年(1277)改府为路，望江属蕲黄宣慰司安庆路，至元二十三年(1266)废司置省，望江属河南江北行省安庆路。
明洪武初望江属南京宁江府，洪武六年(1373)属南京安庆府。
清顺治二年(1645)望江属江南省安庆府。雍正三年(1725)，江南省析为安徽省和江苏省，望江属安徽省安庆府。
民国元年裁府，望江直属安徽省。民国3年，属安徽省安庆道。民国17年废道，属安徽省。
民国21年属安徽省第一行政督察区。民国34年属安徽省安庆专员公署。
1949年3月28日望江解放，属皖北行政公署安庆专署。1952年皖南、皖北行署合并为省。
望江属安徽省安庆专署。1968年改安庆专署为安庆地区革命委员会。1977年改称安庆行政公署，至1987年望江县均属其所辖。