清末，城关建房和维修，由泥瓦工工头临时招凑工人，完工后，各自另谋生计。光绪廿七年（1901年）宁波人林昌祥来怀承建教堂、医院、学校等高层建筑。民国年间，县城建房者增多，民国二十年（1931年），林昌祥成立昌祥营造厂，城关工人组成同兴营造厂，有建筑工500余人，由县商会管理。民国二十七年（1938年）县城沦陷，营造厂解散。抗战结束后，工头汪金良组织工会，发展会员100余人。
解放后，1949年3月，县建工会联合会，下设建筑分会，吸收会员152人，1954年发展到280人，1955年建筑分会更名建筑工程组，由县建设科管辖。1958年全民“大跃进”，工程组从农村大量招工，致建筑队伍猛增至1213人。1962年国民经济调整。工业贯彻“调整、巩固、充实、提高”八字方针，农工大部返回农村，建筑队伍减至327人。同年建筑工程组更名县建筑公司；城关镇组建建筑工程队。1982年全县有建筑工人764人，其中建筑公司464人，城关建筑工程队300人。1983年发展到1230人，其中建筑公司758人。1984年乡镇建筑队伍突发，工人猛增至5580人。是年县建筑公司更名第一建筑公司，城关建筑工程队更名第二建筑公司，业务均属县城乡建设局。1985年贯彻中央《加强建筑市场管理》文件，对全县乡镇建筑工程队进行资质审定，压缩乡镇不合格工程队10个，582人，保留22个，3100人。年底城乡共有建筑工人5038人。其中县城1938人，乡镇3100人。