浮山有山有水，环境幽雅，历有高人择居，现存名人故居三处。
一、方以智故居
方以智故居，在浮山西麓，丹丘、墨历两岩之下，现名陆庄，旧名在陆居，全称在陆山庄，建于明万历辛亥(1611年)，为方大镇所建。
方大镇，时任大理寺左少卿，因避东林党祸，辞官归里，隐居浮渡，自号野同翁，题“在陆居”中堂为“此藏轩”。后方大镇移居白鹿山庄(今安庆市郊区小龙湾)，遂将在陆居授给儿子方孔炤。不久，方孔炤又将该居授给方以智，嘱咐他要在“此藏轩”内“洗心退藏”。方以智少时在此攻读经书，成年后在此著书立说。如《此藏轩声义杂说引》、《浮山文集》等就是在此写成的。
明末，张献忠领导的农民军在桐城一带活动十年之久，浮山为其地盘。时方以智故居遭到兵燹，但此藏轩独存，方维仪(以智姑母)在《浮山庄有感》诗里，发出“十年销镝不堪吟”的感慨。清初，以智出家，其子中德、中通、中履在此处建庵，以迎养其父，学者施愚山书其名曰“报亲庵”。以智死后，庵改为四代祠，供以智以上四代祖宗牌位。今陆庄居民方本圣，乃方氏后裔，建国前负责管理方氏祖坟和四代祠，
二、吴芝瑛故居
吴芝瑛，清末女诗人，秋瑾的好友。秋瑾出国留学及回国办《女报》，均得到她的支持和援助。秋瑾牺牲时，她不顾安危，为其奔丧收葬，时人为之敬佩。
芝瑛故居，在浮山西3公里处，名“鞠隐山庄”，系其父吴康之所建。康之，为吴汝纶从兄，少时因丧父母，在汝纶家长大，成年后历任山东宁阳、禹城、蒲台、武城、章邱、郓城等县知县，为官清廉。时值清末，外侮内忧，朝政日非。康之目不忍睹，则慕学陶潜慨然退居田园，并以渊明爱菊之意，自号“鞠隐”(菊、鞠，古通用)以示志，故名其居为“鞠隐山庄”。
鞠隐山庄，占地面积约5000平方米，原有三进厅房和其它瓦屋40余间；外有围墙，南北门楼及石级台阶；正厅悬挂吴芝瑛亲笔书写的“鞠隐山庄”匾额，可惜毁于“文革”之初。
吴康之逝于光绪十五年(1889年)，遗命其妻张氏捐房办学，造福乡民。张氏于光绪三十年(1904年)亦病故。吴芝瑛继承父母遗忘，变卖田庄、竹园、柴山、稻场、鱼塘、棉地等财产，得银万两。1908年正式开办了鞠隐小学。1975年，鞠隐小学已改建初级中学。
三、房秩五故居
房秩五是浮山中学的创办人。1929年，他为了便于管理学校，在学校之东北，建造了一座别具一格的小楼房。在阁楼上，可眺望石溪河对岸房秩五父母的坟墓。因援《诗经》内“陟彼岵兮，瞻望父兮；陟彼圮兮，瞻望母兮”之意，将阁楼取名为“双瞻阁”。
双瞻阁分三部分组成，前有门楼，中为阁，后为脚屋，四周有土围墙，共占1913平方米。阁为杨幼卿(留日学生，时为浮山中学总务主任)设计。其主体建筑面积192平方米，分上下两层，木楼板，楼下地坪用水泥铺成的。楼前为六边形小阁，全是玻璃窗户；阁下为宽阔的走廊，并置有水泥栏杆，中有石级可达门楼。阁前檐正中有匾一，文曰“双瞻阁”，初为上海知名人士沈尹默所题，现为原安徽省政协主席张恺帆所书。大门前三字，系仿照房氏书箱上的字体写就的，据说是房秩五的墨迹。从前，楼下为房秩五及其家属的卧室与客厅；楼上为藏书之所。建国后，房秩五捐献此阁为“浮山烈士纪念馆”，交浮山中学管理，后被当地林场占用。1984年，枞阳县人民政府作出决定，收回双瞻阁，交浮山管理处使用。当年，管理处重修此阁，并建造了职工宿舍。1989年，县政府将其列为县级重点文物保护单位。第二年，由管理处主持，再度扩建了围墙，并新建了“紫霞居”、“邀月堂”，给房氏故居增添了光彩。