民国21年(1932)，县城三界用吴家祠堂约10间房屋建立第一座监狱，配典狱长一人，看守员3人。监狱设备简陋，罪犯睡草铺，有警卫日夜看守。民国26年 (1937)12月，日军侵占三界后，三界监狱便不复存在。民国34年(1945)，嘉山县城改为明光，设嘉山县监狱(地址在现新华书店后面约70米处)，设监狱长1人，看守长2人，看守员5人。监狱有房屋16间，可容纳60余人，一般罪犯通过贿赂能见到家属，重要犯人(多系新四军干部和地方基层干部)，临时羁押，后送往蚌埠第八绥清司令部处理或被秘密处决。民国36年(1947)秋，新四军干部、战士20余人，从嘉山监狱往蚌埠转送，至龙庙山脚下，被事先埋伏的国民党军队用机枪扫射全部牺牲，毫无人道和法律可言。
解放后，县人民政府接管了嘉山监狱。1951年改建了监房。同年，嘉山监狱改为看守所，迁到高家瓦屋(现看守所住地)。1966年，看守所向外扩建8米，新建监房16间，办公室1间，保管室1间，审讯室4间，浴室1间，伙房2间。1983年看守所配所长一人，指导员一人，副所长二人，所员二人，有监房18间，其中老监房9间，面积306平方米；有办公室4间，值班室2间，审讯室5间，约78平方米。犯人睡木板铺,每个房间不超过10人，每天一个半小时“放风”。所内设有犯人食堂，犯人每日两稀一干，每星期吃一次荤菜，每天供应开水两次，夏天三次。1987年10月，安徽省公安厅拨款12.5万元，改建了9间监房，新建了一个放风场、洗涮处和一个厕所，安装了一些现代化的监视设备。至1987年底，看守所有办公室8间，其中预审办公室4间，会议室2间，观察室1间，审讯室5间。
1951年看守所建立后，除按监视制度和狱侦原则进行正常管理外，还对罪犯的生活进行管理。随着人民生活水平提高，罪犯的生活水准也随之作了调整。1951年后，罪犯月生活费9元，吃饭实行定量分配，标准与城镇居民相同，即人均成品粮27斤。1964年，罪犯成品粮每人增加1斤(28斤)，月生活费增加3元(每月12元)。1983年，罪犯月生活费由12元增至16元，成品粮由28斤增至30斤。对罪犯的伙食实行单独管理，保证饮食卫生，犯人生病时吃病号饭，看守所对属于少数民族的犯人，在生活习惯上都给予应有照顾。
看守所备有常用药品，罪犯有病可在所内治疗，重病者由看守人员带到医院医治，或经批准后实行保外就医。
为从思想上改造犯人，先后订有《人民日报》、《新岸报》、《安徽日报》、《滁州报》，定期组织犯人学习时事政策，促使他们认罪伏法。还不定期地请公、检、法、司领导干部给犯人上法制课，增强罪犯的法制观念。
1952年，安徽省公安厅规定：“各县已判决罪犯由各县自行投入劳动改造。”县看守所即组织已判决罪犯400余人到县设立的三界沙站、管店大王郢、明光米厂、金张、卞庄小河沿五个劳改场(点)进行劳动改造，至1958年，上述场(点)撤销。 1954年，县在明光镇郊郑洼设劳改点一个，组织罪犯20余人，从事砖瓦制做。通过劳动改造，多数罪犯悔过自新，成为新人。亦有少数刑满后释放人员，继续作案犯罪。
县看守所在改造罪犯中，采取政治教育与奖惩相结合，奖励和加刑、减刑办法，对服刑期间表现突出的犯人，报请上级，经批准后，给其减刑或提前释放，对不服从管教，认罪态度恶劣的犯人，建议给其加刑，奖惩严明，促进了罪犯改造和管理工作。1985年来，本县看守所在罪犯管理和监房扩建方面都有所加强和扩大。 1990年，本县看守所共收押各类人犯和犯人533人，比1989年上升46％，收审 331人。并切实加强监所管理工作，注意纠正超期羁押案件，当年共纠正14件23人，纠正违法关押数起。