县境居民以汉族和回族为主。解放以前，各少数民族人口数字已无法查证。1953年，全县总人口568558人，其中汉族561891人，占98.83%；回族6667人，占1.17%。
1964年，全县总人口583511人，其中汉族576370人，占98.77%；回族7134人，占1.22%，主要分布于大山公社民族大队，张集公社新联大队及城关镇；朝鲜族2人，满族2人，蒙古族、苗族、水族各1人；外国人入中国籍13人。
1982年，全县总人口501874人，其中汉族495209人，占98.67%；回族6348人，占1.27%(因行政区划变动，回族人口减少近3000人，但比1964年人口相对增长48.21%，平均每年人口增长率2.2%)；苗族139人，占0.03%；侗族84人，占0.02%；布依族55人，占0.01%；此外羌族5人，瑶族3人，水族4人，土家族2人，外国人入中国籍1人。