铜陵市司法局成立之前，全市的司法行政工作由法院管理。1957年6月，铜官山市人民法院内设公证室，1959年3月撤销。1962年11月15日，铜陵市中级人民法院恢复公证室办理公证工作，1964年撤销。
1957年10月成立铜官山市法律顾问处，负责铜官山市、铜陵县所辖地区律师业务，1959年3月以后撤销。
1978年12月10日，铜陵市中级人民法院内设司法科，负责管理指导全市调解工作和法制宣传工作。
1980年6月17日，根据安徽省人民政府(1980)126号《关于尽快建立各级司法行政机构的通知》的要求，成立铜陵市司法局。1983年10月6日，市辖四个区设立司法科(铜山区司法科后改为司法行政办公室)。
1983年底，市司法局开始筹建劳改劳教场所。1984年2月25日，“铜陵新生厂筹备处”成立。并从1983年底，陆续接受市、县投入的劳改、劳教人员共292名，1984年3月，“新生厂筹备处”撤销。“两劳”人员分别送入南湖和九成畈农场。
为了加强基层民事调解，1985年6月，全市9个街道聘请了11名专职司法助理员。