县内文化历史悠久。围绕古南岳天柱，历代文人墨客状景抒怀，写下许多壮丽诗文。仅乾隆四十六年(1781年)编修的《潜山县志》就录有有关潜山历代诗文474篇。李白、白居易、王安石、黄庭坚、陆游、苏轼、朱熹等大家均有颂扬舒州山水之作。民国9年(1920年)《潜山县志》载有县藉人著作144部。“五四”运动爆发后，县内新文化活动日益活跃，一些进步人士积极提倡并参与新文化运动，一些新内容、新形式的文艺创作及戏剧演出，配合县内各区的革命运动，配合抗日战争，配合解放战争，几度形成高潮。
建国后，县内文化有较大的发展。1956年6月设立文化科，12月改设文教科。1957年10月成立文化教育局。从50年代到70年代，虽因“大跃进”和“文化大革命”，县内文化工作出现一些反复和挫折，特别是“文革”期间，一批文艺工作者惨遭迫害，很多优秀文艺作品被视为“毒草”，遭到“横扫”。整个文化战线，成为动乱时期“重灾区”之一。但从总的情况看，从较长的历史时期看，县内城乡文化阵地不断扩大，文化队伍不断发展，文化事业取得很大成绩。50、60年代，业余剧团遍及城乡各地。50年代中期，电影开始进入农村，70年代，毛泽东思想文艺宣传队活跃在工厂、农村。粉碎“四人帮”后，文化界的冤假错案得到平反改正，党的文艺政策得到落实，广大文艺工作者的积极性日益高涨。在“文艺为人民服务，为社会主义服务”，和“百花齐放、百花争鸣”方针指引下，县内城乡文化事业出现了欣欣向荣的崭新局面。1980年，县文化、教育管理机构分设，成立文化局，专司全县文化工作。此后，县内文化开始全方位的发展，出现了国家、集体、个体一齐上的好形式。1980—1984年，城乡戏剧演出、电影放映掀起前所未有的热潮。从1982年起，农村小集镇逐步形成文化中心，扩大了农村文化阵地，丰富了群众文化生活内容。文物管理和专业、业余文艺创作，在80年代，均为历史上最兴旺的时期。到1987年，全县有文化馆站43个，影剧院(场)58座，图书馆(室)52个，藏书11万余册，专业剧团1个，业余剧团16个，省级文物保护单位5个，县级文物保护单位12个，省级以上的文化界各种协会会员27人。县内有《流泉》、《古南岳》等文艺内刊。据不完全统计，在省级以上报刊上发表文艺作品的有74人，作品达1330篇(件)。