马鞍山司法行政工作，在司法局正式建立前，部分业务由市中级人民法院负责。1979年4月，市法院设立司法行政科，负责管理公证和法制宣传工作。1980年6月，撤销市法院司法行政科，正式成立马鞍山市司法局。同年9月，司法局下设办公室、公证律师科。1981年1月，成立市法律公证处；4月成立市法律顾问处；同年6月，始设法制宣传科，撤销公证律师科。11月，金家庄、花山、雨山、向山4个区分别成立区司法科。1983年12月机构调整后，增设人民调解科和劳改科。1985～1987年，进一步调整机构，充实人员，恢复公证律师科，撤销劳改科，新设人事科，改人民调解科为基层工作科，改法制宣传科为宣传教育科，各区司法科改为区司法局。