马鞍山原属当涂县，解放前地方治安和司法审判由当涂县管理。民国年间，今市境的采石、慈湖、霍里、马鞍山曾分别设置警察分驻所和矿区警察所，总管户籍、司法、督察、治安等。解放前夕，马鞍山分矿设有警察参加的“联防区署”、“矿警队”、“保警队”等组织。其间或置或废，屡有变迁。
马鞍山解放后，人民政府开始在采石、霍里派遣公安特派员，设置采石公安派出所。1953年建立马鞍山公安派出所。1954年，组建矿区人民法庭和矿区检察署。至1956年筹备建市时，新的公安、检察、法院机关逐步健全，成为马鞍山地区人民民主专政的重要工具。解放初期，马鞍山地区社会秩序混乱，特务活动频繁，反动会道门猖撅。当时政法工作的重点，主要是收容散兵游勇，清除敌伪残余，取缔封建迷信，开展禁烟禁赌工作，并对有现行破坏活动的反革命分子和罪大恶极的土匪、恶霸、反动党团骨干、反动会道门的为首分子进行大张旗鼓的镇压，巩固新生的人民民主政权。马鞍山建市后，随着钢铁工业的发展，市区人口激增，社会治安问题突出。政法机关在加强基层基础建设的同时，积极预防和打击刑事犯罪，及时有效地处理了各种复杂案件，维护了社会治安秩序。1958年后，政法工作在“大跃进”和“反右倾”中受到“左”的错误的影响，造成打击面过宽的严重后果。1962年，市政法机关根据党中央扩大的工作会议精神，严格区分和正确处理两类不同性质的矛盾，开始对“大跃进”和“反右倾”时期的案件进行甄别平反，复查纠正了大量冤错案件，办案质量显著提高，政法工作开始出现新的转折。“文化大革命”中，马鞍山市公、检、法机关被撤销，社会主义法制遭到践踏，社会治安严重混乱，出现了大批冤、假、错案。
中共十一届三中全会以后，政法工作逐步走上正轨，法制建设进入一个新的阶段。通过拨乱反正，逐步恢复、建立和健全各级政法机构，狠抓政法队伍建设，复查、纠正、平反了“文革”期间和历史上遗留下来的冤、假、错案，同时把政法工作的重点逐步转移到保卫和促进以经济建设为中心的社会主义现代化建设上来。1980年，马鞍山市司法局成立，并首次成立法律顾问处和公证处。至1987年底，市政法机构已有较大发展，市公安局下辖4个分局、19个派出所；市人民检察院相继恢复并建立了4个区检察院；市中级人民法院除下辖4个区级法院外，并增设经济审判和刑事审判一庭及二庭。全市政法系统在开展严厉打击严重刑事犯罪和严重经济犯罪的斗争、进行社会治安的综合治理、普及法律常识工作、复查纠正历史遗留案件等方面，均发挥重要作用，为全市改革开放创造了一个良好的社会环境，保障了经济建设的顺利进行。