民国期间，无专门管理档案机构。县政府及所属单位的文书档案，由各科、室、处事务员兼管，解放时所遗部分民国档案多系通知、任免、聘书、行政区划等20卷存省档案馆。
1951年9月中央人民政府政务院颁布《公文处理暂行办法》，县政府秘书室指定专人对文件进行清退、立卷、归档。至1952年清理归档文件3525件，其中通知1912件、通报123件、命令172件、指示202件、批复487件、报告175件、公函439件、草案4件、规定2件、决定3件、计划1件、密代电2件、其他1件。1953年3月，县政府制发《临泉县人民政府机关档案处理暂行办法(草案)》，文书档案工作日趋正规。1956年县政府建立档案室，配专职档案干部。1957年2月建立临泉县人民委员会档案室，6月，发布《关于加强档案工作的指示》，和《关于收集积存档案的通知》，整理文书档案743卷，保管零散文件59780件。1958年9月成立档案工作委员会，县委、县政府档案室合并成立临泉县档案馆，接收档案8872卷，县委和基层单位先后建档案室255个。同时抽调人员整理人委系统、县委系统积存文件2939卷。1963年5月，成立临泉县人民委员会档案科，与档案馆合署办公，一个机构，两块牌子。“文化大革命”期间，贯彻中共中央、国务院《关于在“文化大革命”运动中保障党和国家机秘安全的规定》，保证了档案的完整性。1980年5月30日成立临泉县档案局，辖档案馆。1984年9月扩建，占地1416平方米，建四层档案馆楼房，有封闭式库房24间，置档案柜76套及缝纫机、照相机、复印机和消防器材等设备。培训档案干部，定期检查和协助整理县直和基层档案室档案。1984年成立阜阳地区档案学会临泉分会，有会员16人，1985年，县档案局、馆在编职工10人，其中馆员1人，助理馆员3人。共收藏县委、政府、纪委及所属114个全宗文书档案5949卷、干部档案1658卷、监察档案3441卷、土地档案1070卷；报刊图书资料3501册。各区镇和县直单位建立档案室141个。