建国前，县城房屋结构有两种类型：一是石墙，草瓦盖顶的一字形三间平房，间有少数砖木瓦结构的两层楼房与深宅大院，仅为少数官绅富户所有，如县城主街文昌街中段宋、邱两大户；二是由美国、意大利教会兴建的砖混中西式三层楼房，如西门岗民望、民康医院和淮西中学（现一中）等。抗日战争时，遭日本飞机轰炸，县城房屋被毁近5000间。（顺河街全街被毁）。抗战胜利后，部分修复。多为石墙、草顶、十分简陋。
建国初，全城房屋总面积约43万平方米（1950年土地改革时没收地主资本家6.2万平方米），其中住宅面积约32万平方米（草房近三分之一）。时人口2万余，人均居住面积约13平方米。50～60年代，县城房屋无大发展，仅增建卫生、文化娱乐设施，面积3.42万平方米。70年代后县城建设随国民经济发展，速度加快。至1985年底全城房屋总建筑面积已达到1081859平方米，比建国初增加2.52倍，其中住宅面积644126平方米，比建国初增加2.01倍。按年末县城人口计，人均住房面积近14平方米，居住条件有很大改善。
县城主要公共建筑