浮山水路较为方便，上行可至庐江，下行出白荡，可达安庆、九江、芜湖、南京；加上山势险恶，多悬崖绝壁，内有洞穴可居，外有水可作壕障，因此历史上常成为兵家扎寨之所。
一、元末陈寨
元朝末年，义军四起，自称汉王的陈友谅扎寨浮山，从此战事不息。明侍御方学渐在《游浮山记》中记云：“寻地而西，从中下，为中军帐，赵普胜立寨所。折戟亡镞时见沙土中，石多孔，建旗迹。西南望三里而遥，为屯兵山，徐魏公屯兵处。而伏兵绕浮山，东上袭普胜，破之。”清初，翰林院检讨邓旭在《游浮山记》中亦记云：“妙高绝顶，伪汉陈友谅屯兵处，今人呼为点将台。”又康熙十二年撰修的《桐城县志》载：“元顺帝至正十九年九月，明奉国将军徐达击赵普胜于浮山”。
赵普胜，池州人，元末独举义旗，后归陈友谅，为大将；徐魏公即徐达，明建国后，朱元璋封他为中山王。
人称浮山为“陈寨”，即由此而来。如今的妙高峰，就是当年陈友谅的点将台；屯兵峰，就是陈友谅的屯兵处；西南三里的长山，就是徐魏公的屯兵山；山下会圣岩景区，四关俱全，古寨石墙依然可见，这就是当年的陈、赵大本营——中军帐；天池周围的石骨上，到处可见圆孔，这就是当年的插旗处。浮山还有许多有关朱元璋和陈友谅的传说，如陈友谅嫂嫂战死浮山，葬于白虎山上的悲壮故事；朱元璋在会圣岩顶架大炮，轰击潜龙峡的传闻。“朱洪武炮台”保存完好，成为人们观赏的遗迹。
二、明末胡寨
明朝末年，张献忠在桐城一带活动达十年之久。据旧志载：“祟祯之季，寇乱四方，居人思所以卫难者，结堡于浮城，其四围东西留两门。”此次浮山扎寨，因堡长为胡其芬，故名“胡寨”。
胡其芬为浮山人。为了对付张献忠，亲到南京，向桐城名宦左三山、孙鲁山、方孔炤募化二百五十金，修建浮山老寨。时百步云梯和东门颈上(紫霞关)设立了关卡；碧云岩还安了木栅栏。后奉上司之命拆除此堡，胡其芬还赋诗曰：“满眼兵戈实可忧，募金筑堡费绸缪，一从功令摧残后，虎豹频年卧虎秋”。
三、清末占寨
太平军攻下安庆，浮山群众在当地封建势力的煽动下，结寨浮山，对抗太平军。其为首者是一手工艺人(名字失考)，以加工米砻为业，力大无穷，人称“占大砻匠”。
占砻匠扎寨浮山，以戗山为小寨，成犄角之势。时妙高峰为瞭望台，兼做烽火台，故今人呼此处为“大烟墩”。后占砻匠阵亡，浮山寨被攻破，枞阳一带被太平军占领。寨破以后，华严寺被焚，金谷岩中丈六铜像亦被太平军化成兵器。后太平军失利，清朝政府即在浮山华严寺左侧创建了“忠烈祠”，将占砻匠等人的牌位供奉祠内，以彰其“忠”。