传说早在春秋时期，今安徽境内就已开始铸造铁器。康熙《太平府志》记载：“神山，在（芜湖）县东北九里，与赤铸（山）相连。图经云：干将淬剑于此，上有磨剑池、砥石”。《江南通志》又栽：庐江县东北的冶父山，旧传为欧冶子铸剑处。干将和欧冶子都是春秋时期制剑高手。这些志书记载的以上内容，便反映了安徽境内冶铸铁器的历史悠久。著名的楚国水利工程芍陂的修建，也表明安徽炼铁炼钢技术出现较早，因为兴修大规模的水利工程，如果没有坚锐的铁制工具是难以想象的。但据考古发现看，安徽出土最早的铁器，都是战国遗物。灵璧县城关七里乡，出土了战国时期的铁犁铧2件。民国22年（1933年）在寿县朱家集楚王墓出土有铁、铁弩矢等。曾盗过此墓的人说，封土下的墓口，系用生铁浇灌掩盖。
到秦汉时，中国已完成了青铜时代向铁器时代的过渡，农具已铁器化。省境当涂丹阳盛产铁，博望镇时称“打铁之乡”，操铁艺者多达千人。《汉书．地理志》载：西汉武帝时在全国设置铁官40余处，主持铸造铁器，绝大部分铸造的是农具。庐江郡的皖县（今潜山县）是当时设置铁官的地区之一，并以“江”字作为所铸铁器的标志。东汉时，皖县仍以产铁著称。1959年在寿县发现的东汉堰坝遗址中，出土铁犁、铁锄、铁锤、铁斧、铁锯、铁凿、铁鱼叉等，80年代又在淮南市东汉遗址出土镰、锄、锸等铁制农具，这些都为汉代铁制农具。三国至隋唐，马鞍山、芜湖、铜陵炼铁业发达。三国时，马鞍山地区已有炼铁铸造兵器的记载。在东晋，南朝200多年间，今安徽贵池东北的梅根冶，一直是江南两大冶铸作坊之一，（另一在今湖北武昌东南），既能炼铜，又能炼铁。《太平寰宇记》说：“自齐，梁之代为梅根冶以烹铜铁”。
唐代，当涂、南陵、舒州均产铁。李白在《为宋中丞请都金陵表》中说：金陵附近“银坑铁冶连绵相属”，描绘了当时当涂附近铁冶盛况。20世纪50年代，在繁昌、南陵发现多处唐宋炼铁遗址，铁矿冶炼业相当兴盛。其中繁昌竹园湾唐宋冶铁遗址的圆形竖炉，直径约1．15米，炉壁用砖砌成，内膛掺有砂粒的耐火泥，从炉内残存物料分析，是以栗炭为燃料，加石灰石作熔剂的。此外，马鞍山桃冲矿区已有筑炉炼铁的记录。宋元时，繁昌铁矿冶炼仍相当兴旺，冶铁作坊设在矿山附近。北宋熙宁八年（1075年），在舒州设同安监，先铸铜钱，后铸铁钱。南宋绍兴至乾道间（1131～1173年），徽州婺源（今属江西省）、舒州怀宁、池州贵池及铜陵均产铁。
乾道初年，朝廷诏两淮京西悉用铁钱。乾道三年（1167年）在和州置监铸钱。乾道六年，“先是以和州旧有钱监，舒州山口镇亦有古监，诏司农丞许子中往淮西措置，于是子中以舒蕲黄皆产铁，请各置监”，岁合铸大小钱30万贯，令两淮通行。这说明皖西铁矿曾在乾道年间用于铸铁钱。南宋时期，濮氏已在芜湖冶铁炼钢。另外，在淮北，11世纪萧县一带已有采煤炼铁。元丰元年（1078年），苏轼任徐州太守时，写有《石炭行》诗，描写了徐州西南萧县白土镇一带以煤代栗炭炼铁的情景。该诗前“引”云：“彭城旧无石炭，元丰元年十二月始遣人访获州之西南、白土镇之北，以冶铁作兵（器），犀利胜常。”明清时期，今安徽境内的炼铁生产长期停滞。但清乾隆年间，芜湖手工炼铁作坊有数十家。古代为土法炼铁，设备简陋，矿石人工锤碎，用木炭或木柴加热冶炼，人力风箱鼓风，每次出铁仅十几公斤。
民国初年，近代矿冶业萌发。民国2年（1913年），裕繁铁矿公司在桃冲开采铁矿的基础上，由矿东霍守华筹款2万元，建成小型熔矿炉1座，高3．5米，炉体直径70厘米，配有热风炉和送风机，计划一昼夜炼铁5～6吨。试产末成，废弃。30年代初，国民政府实业部拟订通过向德国借款，在马鞍山建设中央钢铁厂的议案，并委托美国麦基公司完成《马鞍山钢铁企业规划报告设计书》，但终成一纸空文。抗日战争时期，太平洋战争爆发后，日军海上运输线受阻，遂将在中国掠夺的铁矿石就地冶炼，制造军火。民国31年12月，日本侵略者在马鞍山设立“日铁马鞍山制铁所”。民国32年9月21日，第一座小型炼铁炉点火投产。至民国34年初，共建造日产20吨的小铁炉10座（其中2座只建成炉体），月产生铁500吨。制铁所占地130．8万平方米，有发电、炼焦、供水、机械修理、码头、铁路等配套设施。时有员工2000多名，其中日籍职员50多人，技工60多人。至民国34年2月停炼，共冶炼铸造生铁约1万吨。7月起，日籍人员先后撤离，大部分机械设备陆续运至华北，准备战争结束运回日本。抗战胜利后，制铁所由国民政府派员接收，交资源委员会经营。原有的10座小高炉在日军撤离前悉遭破坏，8座小型高炉，有4座炉体外壳被日军用硝水腐蚀不能使用；接收后，机械设备又多被盗卖，高炉衬炉砖等也被拆除修建工事，制铁所已成废墟。民国36年，国民政府曾有在马鞍山建设年产50万吨皖南钢铁厂的动议，计划投资100亿元（储备券），但因内战，政局动摇，财力匮乏，上述计划亦成泡影。