1951年秋，县政府设立档案室，1952年春，中共怀远县委设立档案室。1958年11月，中共怀远县委、县政府档案室合并成立县档案馆。1959年2月，改称档案资料馆。“文化大革命”时期，档案馆停止工作，仅留1人看守库房。1977年7月，改馆设科，隶属县委办公室。1980年4月，成立县档案局，与县档案馆合署办公。
1981年在原馆址扩建成900平方米档案楼一幢。现有库房4个，使用面积530平方米，有铁制柜84套，木制柜78套（其中卡片柜3套，文件柜3套），资料书架18个。小型吸尘器1台，温湿自动计示仪1台，毛发式湿度计1支，缝纫机1部。
建馆初，馆藏重点收集建国前党的革命斗争史料和各个历史时期旧档案，进行鉴定归档，提供使用。
1958年开始，接收党政、群团文书档案，当年接收1096卷。1959年接收5699卷。1963年搜集整理各类零散资料6303份。1965年底，馆藏增至12019卷。1980年接收全县11个区档案室1970年以前的文书档案361卷。1983年至1984年接收县直部、委、办、局37个单位1980年以前文书档案3015卷。现收藏档案70全宗，14719卷，资料2550册。按卷宗的保管期限，分类制订永久与长期保管的索引目录。