建国前，马鞍山地区无官办体育机构，体育活动基本处于自发状态。当时只有采石地区体育活动开展较好，尤其采石小学堂多次获得当涂县学生运动会团体第一名。日伪时期，日本侵略者以“亲善”为名，曾于民国31年（1942）、民国32年分别在南山矿和金家庄矿内举办学生田径运动和其它一些体育比赛。解放战争时期，体育活动处于低潮，学校体育课为童子军课所代替。建国初，马鞍山体育工作先后由矿务局和铁厂工会领导。1956年，马鞍山铁厂体育协会成立。1957年3月，市体育运动委员会成立，体育事业逐渐得到发展。随着经济建设的发展，群众性体育活动日渐活跃，参加体育锻炼的人数逐年增加，体育设施不断更新，业余体育训练日见成效，技术水平逐年提高。1983年，全市共举办80多期业余体育训练班，培训体育骨干达5000余人。至1987年，仅市业余体校训练项目就由1983年的9项增加到17项，教练员由13人增加到24人，受训的运动员351人。业余训练的成才率和运动技术水平都有较大提高。自1984年后，向国家队、省队及解放军队输送近50名优秀运动员；向省体校、体育学院、中专体育班输送140多人，其中有获得第二十三届奥运会铜牌的中国女子手球队的李兰，有创男子20公里竞走全国纪录的仲志强，有国家女子手球队主力甘春燕，有第四届全国运动会少年轻量级男子柔道冠军徐琳和保持全国少年、青年举重3个级别16项纪录的吴怀炳等。
马鞍山市坚持开展学校体育活动，注重从青少年开始抓起。除坚持正常的体育课、广播操外，一些条件较好的学校还建立校体育代表队，进行专项业余训练。1982年，施行新的《国家体育锻炼标准》后，全市年均近2.5万名学生参加“达标”活动。1987年底，参加达标学校64所，达标学生数3.5万人，达标率83.76％。市二中和师范附小连续5年被评为市达标先进学校。全市另有省属体育传统项目学校11所，其中中学8所，小学3所。有4所中小学、4名体育教师分别被评为全国和省体育传统项目学校先进集体、优秀体育教师。市二中被列为省重点体育传统项目学校。
群众性的体育活动得到迅速发展，全市常年参加体育活动的人数有7～8万，高峰时达10万。从1975年开始，每年一度的环湖长跑已成为传统体育活动。篮球、足球、乒乓球、武术、气功等均成为群众喜爱的体育项目。群众参加体育活动，增强了体质，提高了运动技术水平，在全省、全国乃至国际比赛中都取得过较好成绩。随着农村经济改革的深入和农民生活水平的提高，农村体育日益活跃，参加体育活动的人数逐年增多，材举办体育比赛，乡召开运动会，有效地促进了农村精神文明建设。
至1987年，全市共有各类体育运动场所达271个，其中运动场23个，球场241个，旱冰场2个，游泳池5个，由于改革的不断发展和深化，人们对体育的认识在加深，群众参加体育活动的要求更加迫切，人数越来越多，活动内容更加丰富多彩，比赛活动不断增加。体育事业发展的新形势，要求改变过去体育工作由市体委“独家经营”的陈旧观念，体育事业开始走社会化的路子。从1987年起，全市职工体育比赛由市总工会负责，市体委只起协调、指导作用；中小学各类体育比赛，由市教委和市体委联办；社会群众性体育比赛，由各单项体育协会组织举办；其它单项比赛，由市体委举办。体育已打破行业界限，走进千家万户，为增强人民体质，丰富群众业余生活起到了积极作用。