1956年，马鞍山铁厂体育协会成立，下辖10个基层分会，有会员1041人。1957年3月，市体育运动委员会成立，但未设专门办事机构，体委工作由市人委文教科代管，内设体育办公室。1959年，市文教局成立，内设体委办公室，体委主任由副市长兼任，日常工作由文教局兼管。1961年下半年，体委完全脱离文教局领导，体委主任由市委副书记兼任。1963年5月，改由副市长兼任，并首次配备专职体委副主任。“文化大革命”开始后，体委正常工作受到严重影响。1968年6月，根据中央关于对体育系统实行军事接管的命令，市人武部和解放军南字132支左部队组成市军事接管领导小组，对体委实行军管。1970年12月，市体育运动革命领导小组成立。1974年初，撤销市体育运动革命领导小组，恢复市体育运动委员会，下设群体组、业余体校组。1975年7月，市体委内设机构改为办公室、群众体育科和竞赛训练科。1976年7月，增设市郊区体育运动委员会。同年10月，又增设花山、雨山、向山、四新4个区体育运动委员会。1983年，机关体制改革，撤销体委办公室、军体科，保留群众体育科、竞赛训练科。翌年10月，复设体委办公室。至1985年，体委工作人员为行政编制15人，事业编制28人。