解放前，工人的工资待遇、人员使用等由资方单方面决定。解放后，废除了雇用劳动制度，逐步建立健全了劳动管理制度。解放初期，无专门劳动机构，劳动事项归民政科管理。1952年底，全县开始劳动就业登记。1959年5月，成立霍山县劳动局，负责劳动就业、工资资金管理和安全生产等工作，1961年10月撤销，业务移交计划委员会办理。1964年5月，成立劳动科，“文化大革命”开始后消失，业务归县革命委员会生产指挥组办理。1968年11月，成立霍山县民政劳动局。1976年3月，恢复霍山县劳动局。1981年，“县知识青年上山下乡办公室”并入劳动局。同年5月，成立县劳动服务公司，隶属劳动局。
解放前，人事由行政主官（知县、县长）独掌，公务人员的升、降、去、留全凭行政主官个人决定。解放初期，人事工作由县人民政府民政科负责。1952年2月，县人民政府设人事科（仍在民政科办公）。1962年设霍山县人事监察科。1963年9月，成立霍山县人民委员会人事局。1968年3月，人事工作由县革委会政工组组织小组管理。1976年3月恢复人事局。