清末，县设兵房管军事、治安，配武官1人，领巡警约20人，主要任务是保卫县衙，维护县城治安。设刑房管司法，人命案及重大案件由县知事调查审理。
民国初年，县设第一科房，管行政、司法、教育和社会事务。民国元年(1912)，县成立审判庭，民国3年设立警备队，配警士10余人，主要管理县城治安。民国7年县设警察局，民国21年改为公安局，配局长、督察员各1人，警士20人，由督察员领警士在街上巡逻。民国16年，县政府设立司法科，民国20年建立庐江地方法院，院内设检察处。民国26年撤公安局设警佐室，民国33年元月又改警佐室为警察局，内设一科、二科、督察室，下设警察队，担负民事、刑事案件审理，管理户口、消防、卫生、交通和执行逮捕人犯、行刑任务，维护治安。
民国37年10月至1949年2月，曾成立桐庐县公安局；民国37年11月成立庐江县公安局，并相继组建公安队。局内设秘书、侦缉、治安、审讯4股。1949年5月以后，人民政府公安机关分别在各区配备公安区员(后改名公安特派员)，1950年以后相继在城关和区、镇设派出所。1985年公安局内设秘书股、政保股、内保股、治安股、预审股，下设刑警队、看守所、拘役所、交通警察队、武警中队(1955年7月为人民警察队，列入公安局编制，1966年7月1日改属县人民武装部内卫中队，1976年1月1日改为人民武装警察中队，属公安局领导)及17个派出机构(包括庐城、矾山公安分局)。
1950年8月筹备成立庐江县人民检察署，1955年8月成立庐江县人民检察院。1979年以后，检察院内设刑事、法纪、经济、监所检察科和办公室。
1950年12月由原县政府司法科改为庐江县人民法院。1978年以后，法院内设刑事审判庭、民事审判庭、经济审判庭、刑事审判二庭和办公室。
1980年10月23日成立司法局，1981年2月下设法律顾问处和公证处。
1968年2月成立“中国人民解放军庐江县公、检、法军事管制小组”，行使公安局、检察院、法院的工作职能。县革委会人保组成立后，公、检、法军管组协同人保组工作，1973年3月，庐江县公、检、法军事管制小组撤销，1974年元月分别恢复庐江县公安局、庐江县人民法院机构，1978年11月恢复庐江县人民检察院机构。