马鞍山地区学校教育始于元代。元至元十四年（1277），采石书院开办；清雍正八年（1730），翠螺书院建立；清光绪三十二年（1906），采石小学堂创建。到民国时期，马鞍山地区已有新式小学堂10余所，中学1所。建国前夕，在校学生已有1975人。
建国初期，马鞍山地区的采石、慈湖、霍里等镇小学开始收归县办，乡村小学由区代办，实行“民办公助”。1952年下半年，“民办公助”改为“公办民助”。当时除各集镇办有小学外，各村也都办起小学，并以乡为单位，组建起中心辅导区小学（完全小学）。至1956年，马鞍山地区的中学已由1949年的3个班124人增加到12个班711人，教职工由17人增加到40人；小学由13所增加到45所，学生由1821人增加到8071人，教师由58人增加到265人；幼儿园由1个班30人增加到6个班180人。
建市之初，马鞍山市学校数量迅速增加。1958年，全市已有中学3所，小学151所，幼儿园（班）66处；还有师范学校、钢铁工业学校、邮电学校、财经学校、卫生学校等中等技术学校多所。1962年，全国教育事业压缩、整顿，马鞍山市各中等专业技术学校相继停办。从1964年起，通过贯彻执行“两条腿走路”的办学方针，大办半工半读、半农半读学校，学校数量又有增加。到1966年，全市已有中学16所，学生3273人，教职工320人；小学198所，学生3.8万人，教职工1353人；幼儿园（班）4所，入园幼儿695人，教职179人。此外，还办有中等专业和业余技术学校5所；郊区有农业中学9所，耕读小学79所，学生2194人。“文革”初期，教育事业遭到破坏，学校工作几乎停顿。后期，城市人口激增，厂矿、社队纷起办学，全市学校、入学人数均有增加。
粉碎江青反革命集团后，马鞍山教育得到全面发展，中小学教育不断加强，教学质量逐年提高。马鞍山钢铁学院、马鞍山商专等高等院校的创建，填补了高等教育的空白；业余中学、补习学校的开办，培育了良好社会学习空气；职业教育的普及，提高了工农文化素质；辅导大学、高等教育自学考试的开设，激发起青年学习上进的热情。党的教育方针得到全面贯彻，教育改革不断深入，办学条件逐步完善，全市教育事业发展迅速，成绩显著。到1987年底，全市已有普通高校3所，在校学生3184人，教职工1259人，其中专任教师577人；成人高校3所，在校学生1602人，教职工229人，其中专任教师97人；中等专业学校3所5处，在校学生1164人，教职工219人；职工中专6所13处，在校学生1348人，教职工64人；农、职业中学6所，在校学生1853人，教职工157人；普通中学34所，在校学生2.35万人，教职工2401人；普通小学53所，在校学生4.26万人，教职工2563人；幼儿园16所91处，在园儿童9180人，教职工713人；特殊学校2所，在校学生162人，教职工33人。全市各级各类学校共有教职工7925人，占全市职工总数的8.74％；在校学生9.21万人，占全市总人口的23.95％，是建国前夕马鞍山在校学生的46.6倍。其中尤以厂矿企业办学力量强，兴办的学校多。1987年，全市厂矿企业已办幼儿园15所，在园幼儿4303人，占全市入园幼儿的46.87％；办小学28所，在校学生1.75万人，占全市小学生总数的41.08％；办中学14所，在校学生6268人，占全市中学生总数的26.67％；办技工学校5所，在校学生2817人，占全市技校生总数的91.58％。这种厂矿企业投资办学的办法，既有助于解决因教育经费不足造成的校舍、师资短缺等困难，又极大提高了全市各级各类学校学生的入学率，同时也有助于中等教育结构的改革和调整。1987年，全市幼儿入园率达到86.94％；小学入学率达99.8％，升学率达95.17％；初中升学率达80％；各类中等职业与技术学校和普通高中招生数之比已达到1.57∶1。马鞍山市教育事业出现了前所未有的繁荣局面。