民国22年（1933年），国民政府建设委员会聘请程士范负责勘探、设计、建筑从田家庵到长江北岸裕溪口的铁路，即淮南铁路。民国23年6月动工，一期工程九龙岗至合肥段当年12月31日建成通车。因建设资金不足，以修成的铁路为抵押，向交通银行借款150万元，于同年8月开始二期工程合肥至巢县段建设，次年5月底建成通车。在二期工程施工的同时，又向中央银行借款150万元，于民国24年2月开始三期工程巢县至裕溪口段的建设。民国25年5月，淮南铁路全线建成通车，全长300公里，其中正线215公里，总投资850万元，每公里平均造价2.8万元，是当时世界上造价最低、建设速度最快的铁路之一。许多外国驻华使馆派员参加了竣工通车典礼，太平洋学会年刊和其它一些国外报纸也有报道。淮南铁路的建成使淮南的煤炭能够源源不断地运达裕溪口、南京、上海等地。
民国27年（1938年）春，日本军队侵占南京后继续西进，国民政府对淮南铁路及附属厂房设备进行爆破，淮南铁路中断。6月，日军侵占淮南后，日本三井矿业会社和三菱矿业会社组成淮南煤矿股份有限公司，在九龙岗设立淮南矿业所并接管淮南铁路。民国29年，日本华东铁路株式会社修复淮南铁路。民国33年6月，日军将淮南铁路南段即水家湖至裕溪口间61公里的铁路钢轨拆下，用于铺设水家湖至蚌埠的铁路。民国35年后，国民政府接收委员会局部修复。
1949年1月18日淮南解放，淮南铁路由济南铁路局军管会接管。9月1日合裕段在东关站接轨，9月15日全线修复通车，11月蚌埠铁路分局成立，淮南铁路改属蚌埠铁路分局领导，并入全国铁路网。经过多次改造的淮南线达到一级干线技术标准。1986年1月3日，随着阜淮线淮南站的交付使用，淮南线的起点由田家庵站改为淮南站。