民国时期，档案由各机关分散保存。当时，民政科、财政科、教育科、军事科、总务科各配有事务员1人，负责本科的文书档案工作。建国初期，县各级机关的文书档案数量不多，一般由文书人员兼作档案工作。1951年，县政府第一个建立档案室。此后，各机关档案室先后建立起来。1957年底，全县建档案室45个，配专职、兼职干部47人。1959年1月，建立凤台县档案资料馆，1963年1月改为凤台县档案馆。1965年底全县档案室发展到70个，有专职、兼职档案干部76人，其中县档案馆配专职档案干部4人，保存档案8086卷。
“文化大革命”期间，“造反派”以清理黑材料为名，县档案馆受到冲击，档案材料损失严重。1976年10月以后，档案工作得以整顿恢复。1985年底全县已有档案室105个，配备专、兼职干部105人，馆藏档案由1979年的972卷，增加到37个全宗5917卷。1980年以来，县档案部门为甄别平反、征用土地、地名普查、干部任免、干部调动、招工招干、编史修志等工作，提供了大量可靠的资料依据。1959年至1985年档案馆共接待8549人次，调阅案卷13765卷次，提供资料619份。