合肥是座建筑历史悠久的城市。三国时期，魏武帝曹操在这里建点将台，台高5米，面积3800平方米。台上的明教寺及其主建筑大雄宝殿，虽屡遭战乱，几经兴废，至今仍熠熠生辉。
清代合肥有各种庙宇寺院20多座。较为典型的有建于宋代的包孝肃公祠，建于明代的县府城隍庙，建于清代的镇淮楼。这些建筑几经沧桑，有的荡然无存，有的仍为名胜古迹名扬于世。
由于屡遭战乱，合肥近代建筑业发展相当缓慢，具特色的近代建筑寥寥无几。光绪十一年(1885)建的天主教堂，光绪三十四年建的教会医院，民国2年建的基督教堂，民国11年建的段家祠堂，均规模有限，水平不高。
解放初，合肥出现28户营造厂商，他们只能维修和承建一、二层结构简单的砖木房屋。1956年，大部分私营营造厂入股并入国营(或集体)建筑企业。居主导地位的国营建筑施工企业逐步发展壮大，独立承建了大量的工业厂房、民用住宅和文化教育、公用设施，建立了机械施工、预制构件、材料运输、设备安装等与之专业配套的施工队伍。1985年，合肥共有部、省、市、区、局属施工企业28家，建筑从业人员约5.3万人。其中部属2户、3163人，省属9户、24782人，市属8户、10272人，区(局)属9户、2000人，郊区约16000人。除此，街道、工厂、部门以及外地和农村进城的施工单位有118个、约3万多人；混凝土构件企业有31个，部、省、市设计院(室)有73个、专业人员3577人。年完成建筑安装工作量3.6亿元，施工面积240万平方米，竣工面积110万平方米。其中市属8个建安企业完成产值6960万元，施工面积59.73万平方米，竣工面积30.25万平方米。1986～1992年，这些施工企业累计完成基本建设投资约72.79亿元，房屋建筑面积2527.04万平方米。
中共十一届三中全会后，合肥市各种建筑拔地而起；昔日低矮破陋的青砖小瓦屋和草顶平房被成群的高楼取代；长江路西段、金寨路改造工程建设速度被作为合肥的“深圳速度”；新建的省电力调度大楼、邮电大楼、安徽剧院以及三孝口一带高层建筑群等等，标志着合肥建筑业已跨入了新时代。仅铜陵、蜀山、合浦、太湖、曙光、西园等10多个住宅小区，面积就达170余万平方米。
合肥的施工队伍不仅参加了安庆石油化工总厂、安徽维尼纶厂等重点工程项目建设和厦门特区、西藏自治区建设，而且还在坦桑尼亚、阿尔及利亚等国承建了一批工程项目。
90年代，合肥建筑业已成为市国民经济的支柱产业。