1956年11月17日，经南京军区批准，马鞍山市兵役局成立，驻地杨家山。其机构设置、干部配备执行六等二级编制，隶属安徽省军区建制，总员额29人，机关设组织动员、预备役军官、预备役士兵统计、征集、民兵预备役训练5个科。1958年5月，市兵役局机关将原5个科缩编为征集、预备役军人、预备役训练3个科，总员额裁减为18人。1959年11月，市兵役局改称市人民武装部，机关设组织动员、军事训练、政治工作3个科，总员额20人。1965年7月，驻地由杨家山迁至湖北路14号。1960年3月，市委决定成立马鞍山、采石、向山、郊区4个区人民武装部，每部配备专职干部2～3人。1962年1月，安徽省军区颁行新编制，将市辖区人武部正式纳入现役编制。金家庄区（马鞍山区）、郊区人武部编制各3人，向山、采石两区各配部长1人。市人武部机关设作战训练、组织动员、政治工作3个科，总员额增到31人，隶属省军区和市委双重领导。
“文化大革命”期间，市人武部机关曾两次整编。除1970年增设人民防空办公室外，其余只是机构名称的变化和人数的调整。1970年2月，市区人武部成立。1975年9月，撤销市区人武部，成立花山区人武部，恢复四新区（金家庄区）人武部，采石区人武部更名为雨山区人武部，向山区人武部名称不变。1977年5月，市人武部机关增设装备、人防两科，总员额46人。1983年9月，当涂县人武部划归市人武部建制。同年11月，市人武部升为正师级单位，区人武部为正团级单位。
1985年10月，市人武部改编为马鞍山军分区，下辖花山、雨山、向山、金家庄和当涂县人武部。司令员施永琅，政治委员陈义金。1986年6月，区、县人武部改归地方建制，实行地方和军队双重领导。同年7月，基建工程兵马鞍山干休所移交安徽省军区，隶属马鞍山军分区，为正团级单位，驻地湖东三村。