马鞍山地区铁矿资源十分丰富，兼有临江近海的地理优势，为发展冶铁业提供了得天独厚的条件。早在三国时期，这里就有冶铁铸造兵器的记载。唐宋时，今桃冲矿区已有筑炉炼铁的记录。明清以后，这一带的冶铁术长期停滞。民国初，一些私营铁矿公司纷纷来此开采铁矿，最盛时年产量达80万吨。民国3年（1914）前后，裕繁铁矿公司曾建成小型熔矿炉一座，高3.5米，炉体直径70厘米，备有热风炉和送风机，计划每昼夜炼铁5～6吨。限于当时的条件，试验数月未获成功，只得废弃。当时国内仅有汉阳和上海两家铁厂，炼铁能力很小，致使大量优质矿石为日本廉价收购。30年代初，国民政府实业部经多次讨论，通过了向德国借款，在马鞍山建设中央钢铁厂的议案，并委托美国麦基公司完成《马鞍山钢铁企业规划报告设计书》。然议而未决，终成一纸空文，大量矿石仍源源运往日本。据不完全统计，从民国5年（1916）到抗日战争爆发前的20年中，输日矿石达524万吨之多。民国27年（1938）2月，马鞍山矿区全部被日军侵占。沦陷期间，矿产资源遭到日本侵略者疯狂掠夺。太平洋战争爆发后，日军海上运输线受阻，遂将在中国掠夺的铁矿石就地冶炼，用以制造军火。民国31年12月，日本侵略者在马鞍山设立制铁所，建造日产20吨的小熔矿炉10座。制铁所占地130万平方米，有发电、炼焦、供水、机械修理、码头、铁路等配套设施。至民国34年2月，共冶炼铸造铁约1万吨。抗战胜利后，制铁所由国民政府派员接收，交由资源委员会经营。原有的10座小高炉在日军撤离前悉遭破坏，接收后,机械设备又多被盗卖，高炉衬炉砖等也被拆除修筑工事，制铁所仅剩一片废墟。民国36年，国民政府曾有在马鞍山建设年产50万吨的皖南钢铁厂的动议，计划投资100亿元（储备券），但因政局不稳，财力匮乏，上述计划亦成泡影。
1949年4月，马鞍山地区解放。南京军事管制委员会派军代表接管了原属国民政府资源委员会华中矿务局的马鞍山分矿，成立马鞍山矿务局。1950年1月，重工业部和华东工业部召集有关专家制定了《马鞍山钢铁厂建设计划》，指出要利用马鞍山原有的炼铁炉、铁矿砂和厂房、发电设备等有利条件，先修复改建原有的炼铁炉，节省时间和财力，以供急需，到相当时期再增设大型炼铁炉和制钢设备，为华东区的重工业奠定永固基础。根据这一指示，马鞍山开始进行修建码头、开拓场地等施工前的准备工作。1953年2月，马鞍山矿务局改称马鞍山铁矿厂（10月又改马鞍山铁厂），同年6月1日，高炉改建工程全面展开，来自15个省市的建设者，结棚为营、挖坎为炊，拆除了部分原有的小高炉，改建成6座容积为71～74立方米的高炉，年设计能力20万吨。至年底6座高炉全部建成投产，做到了当年施工，当年收效。从1954年起，又展开大规模的地质普查和详查工作，同时开始矿山的改建和扩建工程。到1956年，姑山、南山、桃冲三大铁矿相继投产，年生产能力为85万吨。自1953～1957年的5年时间里，马鞍山铁厂共冶炼生铁73.6万吨，开采铁矿石186.5万吨，工业总产值累计达1.4亿元，累计上缴利税2503万元，占投资总额的56.5％。1957年工业总产值达到4135万元，为1953年的13.9倍，平均发展速度为193.2％。在5年艰苦创业阶段，马鞍山的建设者们战胜了百年罕见的特大洪水，经受了3次强台风袭击，克服了设备、物资短缺和经验不足的困难，较快地完成高炉改建和矿山建设两项重点工程，为国民经济的恢复和支援华东区的经济建设作出了贡献，同时也为钢铁联合企业的形成打下了坚实的基础。
在1956年9月召开的中国共产党第八次代表大会上，中央发出“集中力量发展社会生产力，实现国家工业化”的号召。马鞍山人在“八大”精神鼓舞下，加快了建设步伐。到1958年，马鞍山铁厂已实现了由单一炼铁生产向现代化联合生产方式的转变。1958年8月1日，马鞍山钢铁公司正式成立。公司按生产、矿山、基建、经营、人事五个系统统一指挥调度。在马钢公司成立的前后，党和国家领导人毛泽东、刘少奇、朱德、聂荣臻等先后来马鞍山视察，对马鞍山钢铁工业的建设和发展作了一系列重要指示。1958～1960年，马钢共完成国家投资2.3亿元，建成27项骨干工程，主要有：9座中型高炉、2座65孔焦炉、4台18平方米烧结机以及一批中小型轧机等设施。1960年底，马钢已成为拥有12个生产厂矿及辅助系统、9个基建工程处、7万余职工的中型钢铁联合企业，固定资产原值2.37亿元，年工业总产值比1957年增长6.35倍，跨入全国重点钢铁企业行列。
60年代初，在中国面临严重的经济困难之时，苏联政府单方面中断了包括车轮轮箍厂在内的一系列援助建设项目，并停止对我国出口车轮轮箍。在此情况下，1961年春，中共中央书记处召集专门会议，决定依靠自己的力量，在马鞍山建设我国第一座车轮轮箍厂。随即调集了全国8个设计单位，8个施工单位和8个部、21个省市的192家主要设备制造厂，以及由鞍钢、武钢、包钢等兄弟单位组成的7个技术工作组，会同马钢公司组成车轮轮箍工程指挥部。1962年5月，工程开始动工，参加这项工程的人数近2万人。1963年11月，一期工程轮箍系统竣工投产。次年7月，二期工程车轮系统竣工投产。全部工期仅用了两年零两个月。车轮轮箍厂的建成投产，结束了我国火车车轮、轮箍长期依赖进口的历史。同时，也使马钢实现了一次重大转折。1965年，马钢炼钢实际水平达到21.28万吨，成品钢材11.89万吨，从而使马钢铁矿石、生铁、钢、钢材的生产逐步走上协调发展的道路。但在马钢的发展过程中也曾出现挫折和失误。由于“大跃进”的影响，许多基建工程纷纷上马，超过了企业本身所能承受的能力，生产建设比例出现失调。尤其是在“全民大办钢铁”中，土法上马的小高炉群、土焦炉群造成很大浪费，加上企业管理上的落后，70％的技术经济指标在全国同类企业中居中下游水平。从1961年起被迫对一批能耗高、效益差的厂矿实行关、停、并、转，生产指标大幅度下降。1963年工业产值仅相当于1960年的23.38％，主要产品产量下降幅度为53～96％，累计亏损1.4亿元。根据中共中央提出的“调整、巩固、充实、提高”的方针，马钢对生产组织进行整顿和调整，精减机构人员，压缩投资规模，加强企业管理。针对企业管理中的“松、散、脏、乱”现象，全面开展三清（厂区环境、车间内部、设备本体）、五不漏（不漏水、油、电、气、风）、一条线、规格化（工具、用具分类归队，对号入库；物件摆放五五成垛、成方、成行；原燃料堆放成行，悬挂物体整齐划一）的文明生产活动，促进了生产，改变了管理落后面貌，当年扭亏为盈。1965年，马钢的生产创历史最好水平，工业总产值2.13亿元，上缴利润6570万元，分别为1958年的2.9倍和11.4倍，主要技术经济指标90％达到国内中上游水平，被树为冶金企业学大庆的一面旗帜，马钢由此成为闻名全国的“江南一枝花”。1964～1966年，马钢连续3年盈利1.76亿元，弥补了前5年的亏损。1966年3月，马钢成为全国钢铁联合企业中第一家大庆式企业。
“文化大革命”初期，马钢的生产和建设受到严重破坏。“江南一枝花”被当成“大毒草”，文明生产遭到错误批判，有效的规章制度被废止。1967年，先后有10个厂矿一度被迫停产，主要产品产量均倒退到1959年以前的水平，工业总产值比1965年减少一半以上，上缴利润仅相当于1965年的24.7％。到1968年，马钢亏损达760万元。1969年后，马钢广大职工力排干扰，坚持生产，使企业开始出现转机，各项指标有所上升。1971～1973年，钢铁生产形势进一步好转。冶金部先后批准马钢“四五”计划设计任务书和马钢扩建初步设计，同意马钢扩建规模为年产钢200万吨，铁250万吨。在此期间，马钢一系列扩建工程相继建成或投产。1973年工业总产值4.3亿元，上缴利润1.4亿元，分别是1967年的4.26倍和8.49倍。1974年由于“批林批孔”运动的冲击，使刚刚恢复起来的生产秩序再度陷于混乱，各项技术经济指标又一次出现倒退。与上年相比，工业总产值下降29.74％，上缴利润下降53.47％。1975年，通过加强企业管理，进行全行业整顿，生产开始回升。这一年，工业总产值比上年增加1.02亿元，上缴利润增加2190万元（以上均为1970年不变价）。是年6月，市委提出“全市保马钢，马钢带全市”的口号，动员全市把钢铁生产搞上去，提出三年内实现年产铁矿石750万吨，生铁230万吨的奋斗目标。但在江青反革命集团掀起的“反击右倾翻案风”的逆流中，马钢的生产又一次受到影响，1976年总产值和上缴利润分别比1975年减少9.11％和16.76％。
从1958～1978年的20年间，马钢的生产和建设几经波折。特别是持续十年之久的“文化大革命”，严重影响了马钢的发展速度。1978年中共十一届三中全会以后，通过拨乱反正，肃清了极左路线的流毒，马钢进入了全面振兴的时期。在“六五”期间，马钢贯彻中共中央提出的“调整、改革、整顿、提高”和“改革、开放、搞活”的方针，大搞技术改造，加强企业管理，深入进行企业内部配套改革，走出了一条以内涵扩大再生产为主的自我积累、自我改造、自我发展的路子。5年中共完成建设投资4.2亿元，其中企业自筹3.2亿元，占总投资的77％。经过扩建与改造，生产能力大幅度提高，主体生产设备逐步配套，初步具备了年产200万吨钢铁的综合生产能力。尤其在改革大潮推动下，马钢逐步实现了由单纯生产型向生产经营型的转变，完善了以经济责任制为主要内容的企业管理，企业素质全面提高，经济效益持续增长。1979～1987年的9年间，累计实现利税27.54亿元，是1953～1978年26年利税总和的2.14倍，相当于国家34年来对马钢投资额的148％。产值利税率由1979年的31.97％上升到1987年的46.16％，年利税增长率大于产值增长率。产品质量不断提高，到1987年底，分别有43种产品获得国优、部优、省优称号。全部产品优质品率为47.48％。经过30多年的艰苦创业，马钢已由单一的炼铁厂发展成为拥有采矿、选矿、烧结、炼铁、炼钢、轧钢、耐火材料、铁合金、冶金机械以及科研、设计、施工等完整配套的大型钢铁联合企业，为我国钢铁工业发展作出了积极贡献。
1980年以前，除马钢公司外，马鞍山地方钢铁企业仅有慈湖铁厂和市钢铁厂两家。进入80年代后，依靠马钢的资源、技术优势，地方钢铁企业相继得到发展。截至1987年，全市（含当涂县）有地方钢铁企业15家，其中市属企业1家、区属企业3家，当涂县属企业5家，马钢江东企业公司所属企业5家，其它1家。拥有固定资产原值3249.2万元，职工人数5485人，年工业总产值7213.9万元，实现利税1739.6万元。主要产品有生铁、改制线材、圆钢、角钢、螺纹钢、方钢、扁钢、焊接管、无缝钢管等。与马钢公司相比，地方钢铁企业所占比重很小，固定资产、工业产值、实现利税仅占全行业的1.6％、6.7％和3.7％。
“七五”期间，马鞍山的钢铁工业进入一个新的发展阶段。1987年，冶金部和安徽省联合上报了马钢公司制定的利用外资，加速发展的方案，经专家论证推荐，马钢开始列入利用外资企业的行列。具有80年代国际先进水平的高速线材厂以及钢坯连轧工程已于1987年竣工投产。2500立方米大高炉也于1987年9月动工兴建，投产后年利税可增至7.26亿元。与此同时，马钢公司还加快开发新一代火车轮箍、H型钢、船用钢等附加值高的产品，使产品等级和经济效益有了较大的提高。