民国25～27年上半年，纵贯合肥县南北的淮南线铁路先由淮南路矿公司管辖，后由宋子文财团接办。
民国27年7月至民国34年8月，淮南铁路被日军侵占，由日本人管理。
民国34年9月，国民政府派员接收淮南线铁路。翌年1月10日，淮南铁路局成立，管理包括合肥县境内铁路在内的淮南线铁路。
合肥解放后，境内的铁路通信、信号、站务、调度及机车维修等，统由蚌埠铁路分局管理。1949年10月，淮南线铁路九龙岗电务驻在所成立，负责合肥铁路地区的电务管理。同年，合肥工务段成立，负责境内铁路正线及站线养护。
1950年，合肥铁路机务驻在所改称合肥铁路机务段，主要担负维修保养配属合肥铁路的机车。同年，合肥铁路电报所、合肥铁路通信工区成立，负责管理和检修合肥铁路地区的通信、电信号设备。1951年，合肥铁路机务段与九龙岗机务段合并，改称合肥机务折返段，负责辖区内的机车养护与维修。1959年，九龙岗电务段迁合肥，改称合肥机务段(一等段)，承担客、货运机车的洗检工作。是年，芜湖铁路机务折返段划归合肥机务段领导。
为加强合肥铁路运输管理，协调合肥铁路所属单位与地方的关系，1960年3月，蚌埠铁路分局合肥铁路办事处成立。处下设办公室、车务科、货运科、人事科、监察室、公安分处等6个职能部门。
1961年3月，合肥铁路办事处改设办公室、监察室、运输组、人事组。9月，撤销各组(室)，改设办事处视察员。同年，芜湖机车折返段从合肥机务段中划出。
1963年4月，合肥铁路各基层单位的运输组织及生产指挥调度，由各站、段长向其主管部门负责，对口管理；合肥铁路机务段归上海铁路局领导。1965年9月，归蚌埠铁路分局领导。段下辖1个机车大队、2个车间。1950～1966年间，合肥铁路地区逐步建立起各项安全生产制度和劳动规章制度，注重对职工进行安全教育和业务技术培训。“文化大革命”中，管理制度受到破坏，甚至有人提出“人人开车，人人烧火”的口号，要求不分司机、司炉、学员，人人都可开车。铁路行车事故成倍增长，机车运行质量下降，损失严重。仅1966～1967年一年时间内，就发生各类行车事故375起，其中重大行车事故10起，死亡、重伤20人。
1969年5月，为维持铁路运输秩序，中国人民解放军开始对合肥铁路地区实行军管。1972～1976年，合肥铁路实行运行列车“机务检修包乘制”，从而使运输管理和安全管理好转，行车质量提高。
1980年1月，裕溪口及芜湖北机务折返段归合肥机务段领导。1983年，合肥铁路地区建立健全列车乘务员作业标准化及各种岗位责任制，促使经济效益与社会效益普遍提高。
1985年，合肥铁路地区各单位先后成立安全运输生产委员会，同时在各站、段、基层班组建立起安全生产管理网，党、政、工、团一起抓安全管理。工务段提出“雨天防洪，晴天防(钢轨)胀，巡道防挡，道口防撞，信号防跳，设备防断”等口号。由于防范措施得力，全年铁路运输未发生一起行车和人身伤亡事故。
合肥铁路地区办事处是蚌埠铁路分局的派出机构。主要职能是抓好安全运输生产，协调合肥铁路各单位完成上级下达的运输生产任务和各项经济技术指标，保证铁路运输安全正点。合肥铁路地区的人、财、物和车辆运行调度，隶属蚌埠铁路分局管理。至1985年底，办事处下辖单位有合肥火车站，合肥铁路建筑段，合肥铁路机务段，合肥铁路电务段，合肥铁路工务段，裕溪口火车站，巢县车务段，水家湖车务段；总占地面积117.59万平方米(不含裕溪口车站、巢县车务段、水家湖车务段，下同)；职工6376名。其中合肥铁路建筑段职工420名(技术人员21名)，占地面积9099平方米，固定资产5472.7万元；合肥铁路机务段职工2429名(技术人员22名)，占地面积15848.85平方米，固定资产2868.8万元；合肥电务段职工605名，占地面积7484平方米，固定资产1058.6万元；合肥铁路工务段职工1679名，占地面积65.5万平方米。
1987年，合肥铁路办事处机关职工有22人，辖管(自水家湖车站至裕溪口车站)单位职工有9187名(其中技术人员231名)，占地总面积146.98万平方米，固定资产1.448亿元。其中，合肥境内的铁路运输单位职工有7293名(技术人员196名)；占地总面积117.68万平方米，其中建筑总面积27.21万平方米；固定资产1.426亿元。辖区内正线铁路上共设有道口64处。其中有17处道口连续取得道口安全2995天、人身安全2825天的优异成绩，有2处道口荣获上海铁路局“红旗道口”称号，有16处道口获蚌埠铁路分局“红旗道口”称号。