民国初，安徽省都督府司法筹备处颁布各县司法暂行章程共14条。内云：“暂设司法科于(县)知事署内，知事兼理本县司法行政事务。”
民国16年11月1日，合肥地方审判厅改为地方法院。自此，县司法行政事务统由地方法院管辖。
1949年4月，合肥市人民政府设置司法科，受理司法案件，行使法院职能，兼管司法行政工作。8月19日，奉皖北人民行政公署令，司法科撤销，合肥市司法行政工作由皖北人民法院合肥地方法庭兼管。
1950年7月1日，合肥市人民法院成立，内设司法行政科，负责本市司法行政事宜。
1956年1月26日，安徽省人民委员会决定合肥市人民委员会设置司法科，负责合肥市审判工作的检查、指导，司法制度的建设，司法干部的教育、培养和法律宣传等项工作。3月，市人委司法科正式成立，业务上接受人民法院指导。法院司法行政科同时撤销。
1957年8月22日，经省人委同意，市人委司法科正式撤销。同时，市人民法院司法行政科重新设立。1958年9月29日，改称合肥市中级人民法院司法行政科。
1959年4月和8月，国家司法部和安徽省司法厅相继撤销。市中级人民法院司法行政科亦随之撤销。1968年9月3日，合肥市军事管制委员会宣布对市中级人民法院实行军管。全市司法行政工作几近取消。
1973年4月1日，市中级人民法院恢复办公。1978年12月，法院内设司法行政科，负责地方法庭的设置以及人民调解、法制宣传、涉外公证等项司法行政事务。
1980年6月25日，省人民政府下达《关于尽快建立各级司法行政机构的通知》。9月16日，中共合肥市委决定建立市司法局。10月9日，市编制委员会确定市司法局暂定行政编制14名，从市中级人民法院总编制内划拨。12月1日，市司法局正式对外办公，临时办公地点为淮河路312号市委宿舍新6幢西一楼，现迁寿春路。市辖长丰、肥东、肥西3县和东市、中市、西市、郊区4个区司法局成立后，市司法局对其进行业务指导。