清末，合肥县开始兴办新学，时有中学堂1所。学堂由书院递嬗蜕变而来，未脱“忠君尊孔”窠臼。小学堂为数很少，私塾仍占主要地位。
民国时期，公立学校、教会学校以及热心教育人士举办的私立学校，都渐具规模。但因政局不稳、经济萧条，未兴办高等教育。民国37年底，县城及城郊有公、私立中等学校10所、小学13所，在校中小学生6300余人；少儿教育有省立幼稚园及献立中正小学、幼稚园各1所，入园幼儿250名；私塾及私人开设的补习社相当盛行，所占比重较大。
1949～1956年，合肥市教育事业经历了接收、改造和发展的过程。1949年1月，合肥解放后，根据中共中央关于“有步骤地、谨慎地进行旧有学校教育事业改革工作”的指示精神，合肥市对半封建半殖民地的教育进行了根本性的改造：接收了原公立学校；把私立学校管了起来，并加强了领导；收回了教会学校的主权，割断了原教会学校与帝国主义分子的联系，并使其摆脱了教会的控制。经过初步的调整与改造，9所市立小学、2所市立中学、4所私立小学和1所私立中学都于新学期开始时陆续开学上课。1951年，合肥市新建了合肥卫生学校和皖北水利技术学校。1952年，开始创办合肥师范学校和合肥医士学校，并把迁入的东南医学院改为安徽医学院。是年，全市普通中学发展到5所，在校学生2329人；小学增加到79所，在校学生13084人；教育部门办幼儿园2所，入园幼儿135人；成人教育也有了较大的发展，形成了幼儿、小学、中学(中专)、高等教育和成人教育等较完整的教育体系。同年，通过思想改造运动，对教师队伍进行了整顿与调整，使一支有志为新社会作出贡献的教师队伍开始形成。
1953年，国家进入第一个五年计划建设时期。合肥市各级各类教育开始有计划按比例发展。1955年，中小学开始实行劳卫制。1956年，全市有工、农、医、师高等学校4所，在校学生4431人；中等专业学校9所(包括师范学校1所)，在校学生4925人；公立、民办中学8所，在校学生9510人；小学71所，在校学生26268人；由教育部门创办的公立幼儿园4所，在园幼儿616人；农业学校1所，在校学生300余人。是年，全市学龄儿童入学率达83％，各级各类学校在校学生数占全市总人数的1／4。这一时期，合肥市各级各类学校开展了社会主义和共产主义思想品德教育，把劳动教育列入普通教育的内容。合肥一中、合肥师范学校还重点试验了综合技术教育。同年，合肥市成立了中小学教学研究室，具体指导中小学的教学研究工作，组织教师学习苏联经验、总结自己经验，使广大教师的思想、业务水平有了较大的提高。在学习苏联经验的过程中，虽然曾出现过要求过高、过急及形式主义的偏向，但对改造旧教育、建设新教育不无积极作用。在改造旧教育的过程中，也曾出现过师生参加政治运动过多、乱抽教师搞中心工作等情况，但为时不长便得到纠正。
1957～1966年，国家进入全面建设社会主义时期。合肥市贯彻执行了毛泽东同志于1957年2月提出的“应该使受教育者在德育、智育、体育几方面都得到发展，成为有社会主义觉悟的有文化的劳动者”的教育方针，并对如何走中国自己的教育道路进行了探索。1962年，贯彻执行“调整、巩固、充实、提高”的方针，总结了经验教训，从各方面开拓建设社会主义教育的道路。中央制定的全日制高等学校、中学、小学的《工作条例》(试行草案)下达后，全市先在部分中小学进行试点，于1963年普遍展开。1962年开始试行两种教育制度，先后办起了4所农垦学校，使全日制中学与半耕半读学校同步发展，打破了中等教育结构单一化。此后，合肥中小学以教学为中心，统一安排学校政治工作和劳动教育，在开展勤工俭学、课内外结合、理论联系实际、减轻学生课业负担、师范专业教育等方面进行了探索和实践，初步取得了经验；在中学进行的语文教改试验、边讲边练数学教学试验、外语直接教学试验以及市直属小学集中识字试验中，取得一定的成绩。1966年，全市共有普通高等学校8所，在校学生10759人；中等专业学校11所(内含中等师范学校1所)，在校学生2903人；各种类型的中学54所(内含半工半读学校和农业中学)，在校学生21188人；小学154所，在校学生74426人；教育部门办幼儿园12所，在园幼儿1325人。这一时期，全市形成了全日制与半工半读制、普通教育与专业教育、正规教育与业余教育、公办教育与民办教育并举的比较完整的社会主义教育体系，拥有一支忠于人民教育事业，符合各级各类教育需要的教师队伍，使学生在德、智、体诸方面都得到发展。
“文化大革命”十年中，由于“砸烂”各级教育行政机构，使高等学校、各类中等学校或下迁，或停办、或停止招生；将市区部分小学一至三年级交街道办；幼儿园被诬为“培养修正主义苗子的园地”，而几乎停办；盲目提出城市普及高中教育的口号，导致各小学、初中纷纷“戴帽子”，随心所欲地变更教学计划、课程设置和教材内容；鼓吹“读书无用论”、“知识越多越反动”，使全市各类教育遭受极大破坏。
粉碎“四人帮”，特别是中国共产党十一届三中全会以后，合肥市通过拨乱反正，认真贯彻执行“调整、改革、整顿、提高”的方针，教育事业又逐步走上了健康发展的道路。首先，推倒了“四人帮”炮制的“两个估计”，砸烂了精神枷锁，纠正了历次政治运动，特别是“文化大革命”中教育工作上的极“左”思想和做法，复查纠正了各种冤假错案，落实了知识分子政策，提高了教师的待遇和地位，调动了教师的积极性。与此同时，恢复了管理机构的职能和学校正常的教学秩序，解决了教育内部比例失调的问题：1、确定几所重点中小学，并积极办好；2、撤掉了2所布局不合理的中学，改办了省属中等专业学校；3、去掉了6所中学的高中部“帽子”，使其集中力量办好初中；4、逐步把市区中学的高中改为三年制；5、撤掉了3所初中，恢复为完全小学；6、撤销了市区小学的初中班，使其集中精力办好小学；7、把20多所街道办的一至三年级不完全小学与附近的公办小学合并，使其恢复为完全小学；8、将市区小学从1983年秋起改为六年制，动员在高中和初中任教的部分教师分别回到初中、小学，充实初中、小学教学力量。通过调整，合肥市逐步改变了中小学“头重脚轻”的状况。为了改变中等教育结构单一化的状况，合肥市还将5所普通中学改为职业中学，并在部分中学开设了职业班，使在职业中学(班)学习的学生达到3000多名；创建了合肥幼儿师范学校、合肥经济管理学校、合肥教育学院、合肥联合大学，发展了电视大学教育和函授教育。
80年代，市、区教育部门分别组建了新的领导班子，完成了各级各类学校领导成员的调整任务，加强了教育管理和教学管理，全面开展教学改革试验活动，进行了近百个项目的教改试验。
1985年，全市有高等学校10所(不含军事院校、电大、函大、刊大及业余大学)，在校学生2.8万多人；全日制中等专业学校33所(含师范学校、幼儿师范学校各1所)，在校学生11699人；普通中学97所(含职业学校和其他部门办的中学)，在校学生62941人；小学249所，在校学生82101人；公办、民办幼儿园500所，在园幼儿33166人。全市普及了小学教育，市区普及了初中教育，幼儿入园率达70％。同时，一些民主党派和群众团体办起了中山夜校、育才学校、建人业余学校、青年夜校、职工业余大学及各种文化补习班和职业培训班。