马鞍山地区历史悠久。西周时属吴国。春秋战国先后由吴改属越国和楚国。秦至西晋，均属丹阳县（县治今当涂县丹阳镇）。东晋北方战乱，难民南迁。成帝咸和四年（329），淮河之滨的当涂县（今安徽怀远县境内）流民南徙，遂于今南陵一带侨置当涂县，江南始有当涂县名，但非实体县。永和元年（345），江北豫州（今河南东南部、湖北东部）刺史赵胤将州治移置牛渚（今采石），牛渚一度成为侨置豫州的首府。南朝梁天监元年（502），分丹阳县置南丹阳郡，郡治采石，马鞍山地区属南丹阳郡。隋开皇九年（589），侨置于皖南一带的当涂县徙治姑孰，此是姑孰为当涂县城之始，迄今相沿不变。从这时开始至1956年的1368年间，马鞍山地区均属当涂县。北宋太平兴国二年（977）设太平州，治姑孰城，辖当涂、芜湖、繁昌三县。元改太平州为太平路。元至正十五年（1355），朱元璋率起义军攻占当涂，改太平路为太平府，辖县照旧。明清府治隶属不变。
民国裁府留县，当涂县属安徽省。民国25年（1936）前后，马鞍山属当涂县第二区（区所在地采石）和第三区（区所在地慈湖）。1949年4月24日马鞍山解放，至建市前，区乡建置屡有变更。1952年4月29日前，属当涂县第十二、十三、十四区。此后，上述区名分别改为霍里、慈湖、采石区，1952年6月22日后，区辖乡的范围如下：霍里区辖平晓、花桥、祠林、凤凰、胜利、濮塘、杜新、民主、尚钟、潘马、聚星11个乡和霍里镇；慈湖区辖贤塘、明阳、佳山、梅山、冯杨、金泉、霍罗、兴台、雨山、慈湖10个乡；采石区辖汤阳、宝庆、金议、三联、金泰、石船、普集、西江、尚锦9个乡和采石镇。1954年2月，马鞍山镇人民政府成立，属当涂县。这是首次以“马鞍山”命名的地方行政建置。1955年8月，马鞍山矿区人民政府成立，为县级政权机构，隶属芜湖专区。同年12月，区乡调整，行政建置为霍里区、采石区、马鞍山矿区，共辖11个乡3个镇。其中霍里区辖5个乡：霍里乡、祠林乡、濮塘乡、尚钟乡、冯杨乡；采石区辖1个镇5个乡：采石镇、雨山乡、宝庆乡、金山乡、小桥乡、江心乡；马鞍山矿区辖2个镇1个乡：马鞍山镇、向山镇、慈湖乡。
1956年4月19日，当涂县人民委员会根据省民政厅关于马鞍山矿区划市问题的指示，经同马鞍山矿区政府、马鞍山铁厂、向山硫铁矿研究后，向省民政厅书面报告未来马鞍山市行政区域的面积和区划，初步划作建市的行政区域有：马鞍山矿区和霍里区的全部、采石区的采石镇和雨山乡。总人口68339人，总耕地面积14.12万亩。同年5月12日，安徽省人民委员会遵照国务院内务部的意见，决定先成立马鞍山市筹备处。7月3日，省人委下发关于成立马鞍山市筹备处组织机构的通知。通知规定市筹备处下设办公室和民政、财粮、工商、文教卫生、劳动建设、公安等科局。待筹备处成立后，原矿区人民委员会（人民政府）的建制即宣布撤销。9月15日，以原矿区政府为基础，成立马鞍山市筹备处。10月12日，经国务院第39次全体会议批准，同意设置马鞍山市。10月15日，省人委发出关于设置马鞍山市的通知，决定马鞍山市委托芜湖专员公署督导，其行政区域为：马鞍山矿区全部，采石镇的全部和雨山、汤阳、冯杨、霍里、尚钟等乡各一部。11月18日，马鞍山市筹备处正式从当涂县接收以下行政区域：1.原马鞍山矿区全部，包括马鞍山镇、向山镇、慈湖乡。2.采石区采石镇全部；雨山乡大部分，包括兴台、雨山、佳山3片；宝庆乡红星农业社第14生产队。3.霍里区尚钟乡潘马农业社潘村、潘姚、高龙背3个生产队；霍里乡霍里农业社岘下生产队；冯杨乡一部分，包括霍罗农业社的6个生产队，三联农业社全部，高潮农业社部分生产队。
1957年3月7日，马鞍山市第一届人民代表大会召开，选举产生了马鞍山市人民委员会。9日，马鞍山市人民委员会正式成立。
马鞍山建市后，属省辖市。1958年6月改为芜湖专区辖市。10月22日，省委决定，将芜湖专区的当涂、和县、含山三县划归马鞍山市领导，并于当年11月1日正式办理交接手续。1959年3月23日，当涂、和含（由和县、含山两县合并而成）两县复归芜湖专区领导。1961年4月13日，马鞍山复为省辖市，至今未变。1983年6月7日，省政府决定将当涂县（不含大桥公社）划归马鞍山市领导。6月30日，市、县交接工作完毕，从7月1日起，当涂县改属马鞍山市。