本县境内山峦起伏，地广人稀，人口密度不大，历来多聚族而居，形成村落。随着商品交换的出现和发展，在水陆交通方便的地方，陆续出现20多个大小集镇。住房，因山区多木材，房屋多木制框架结构，墙体或砖砌，或土垒，屋顶用小瓦铺面，总的里山比外山好。又因地处江淮之间，扼皖鄂咽喉，历来为兵家必争之地，战争频仍、城乡建筑物屡遭毁坏。在战乱中，民生凋蔽，无力恢复家园，到解放前夕，城乡民房大都破败不堪。解放后，随着生活水平的提高，群众陆续改造或新建住房，城乡面貌改观。以县城为主体，以区镇为支点的城乡建设，曾出现两次高潮，一是60年代后期到70年代初期，9个省属小三线工厂迁入，筑路建桥，沟通了山区同外部世界的联系，山区建设由封闭型转向开放型。这个时期，城关、诸佛庵、佛子岭和省属企业建房面积高达60多万平方米，为50年代的12倍；一是中共十一届三中全会以来，随着改革、开放、搞活经济政策的贯彻实施，城乡建设又有较大发展。农村建房多“青瓦面、红砖墙，水泥地平、玻璃窗，珠红大门安中央，反泥天棚冬暖夏凉，住着舒服，看着漂亮”。城镇钢混结构大楼如雨后春笋拔地而起，住宅小院星罗棋布，街道宽阔平直，行道树浓荫蔽日。市政建设，公用事业，环境保护等从无到有。