一县城
本县县城随着朝代的更迭，几经变迁。春秋时，楚国建邑，邑城在下埠口（今下符桥镇），后因“吴人侵楚，……楚迁于南冈”，“故城在县东二百步”。南北朝时，梁改为岳安县，县治在今城关镇。唐以后，县名又几经改变，县治曾西迁约3里，后人称为古城畈。
（一）老城：宋未垒土为城，有“砖街四条，小巷十三条，城门四座。东西长三里，南北宽二里。北门外有淠河通淮。”这是旧县城的雏形。明孝宗弘治二年（公元1489年），复设霍山县，在土城旧址上用块石、青砖砌宽3米、高2米、长3000米的椭圆形城墙，并设东（启明）、南（崇寿）、西（长庚）、北（拱辰）4座城门。城门有高3.5米、宽3米许的门楼，有木制拱形门楣。南、西、北门毁于民国期间，东门1958年拆除。城墙外侧挖宽10米、深2米的护城河，作排水和御敌用，县城初具规模。后因人口渐多，商业发达，街道向四外延伸。旧志记“乾隆之际，民物殷富，城内街市多莫能容，蔓延至四外，”北门沿淠河建有顺河街，“盖舟楫之所聚也”，西外建古城街，南外、东外各建一小街，北外建顺河街，外延街道面积约占城区三分之一。清道光二年（公元1822年），发生特大洪水灾害，全城被淹，破败不堪，顺河街荡然无存，县城逐渐萧条。民国期间，县城基本保留清末旧貌。30年代初，县政府为防御红军，把城墙向东延伸700多米，在火神庙巷南尽头处开一道城门，名小南门。城墙上遍安炮眼。民国36年（1947年），为抵御解放军，国民党军队在城中部挖一道宽约2米、深约1.5米，南北向的壕沟（解放后填平），拆掉数十间民房，群众怨声载道。
解放后，五六十年代，老城很少建房，仍以东西大街和文盛街为骨架，有周家巷等12条巷道贯通南北。新建和旧有房屋混杂，功能不全。居民用电普遍，用水以井水为主。1969年发生百年不遇的特大洪水，城市积水最深处3——4米（仅盐业公司到人民会场之间没有上水），受灾严重。灾后，一面维修水毁房屋，一面兴建居民村点，1970年竣工面积22326平方米。并在东西大街同文盛街交会处建百货、邮电、书店大楼，形成新的商业中心。为居民在遇洪水时能迅速疏散到城南高地，在县革命委员会主任倪学昌主持下，新建1条从文化馆门前到城南山岗下长约500米的公路。
（二）新城：因老城狭小，地势低洼易涝，容量又早超负荷，不能适应发展经济的需要。1976年，县委书记高立堂倡议在城南1公里丘陵地带扩建新城区，干部、工人、学生、居民义务劳动辟山、填冲、筑路；国家、集体、条条、块块筹集资金修街、建楼、盖房，到1985年，在6平方公里范围内，己建成各类建筑物约40万平方米，商店、工厂、仓库和居民点星罗棋布。以中兴路（南北向）同佛子岭路、南岳路构成的两个大十字为骨架，有传贤路等8条道路沟通老城新区。
二乡镇
（一）集镇：区级机关所在地的集镇，解放前多是商埠，工农业产品集散地，是旧政权统治的中心。解放后，随着经济建设的发展，尤其是中共十一届三中全会后，商品经济发展较快，古镇面貌焕然一新。1985年，又在佛子岭区佛子岭乡的基础上新建迎驾厂镇，在诸佛庵区落儿岭乡的基础上新建落儿岭镇。现有城关镇（区级）和9个乡级镇。
诸佛庵镇位于县西北部，距县城21公里。北纬31°25′，东经116°10′。因镇东东岳山上的古寺“诸佛庵”而得名。解放初为诸佛庵乡，1958年7月属红旗人民公社，1961年属诸佛庵人民公社，5月成立诸佛庵街道委员会，（仍为诸佛庵公社），1965年7月，建诸佛庵镇，1968年12月撤镇，成立“五七”大队，仍属诸佛庵公社，1983年，复建诸佛庵镇，是中共诸佛庵区委和区公所所在地。民国18年（1929年）夏，中共霍山县委成功地领导了诸佛庵民团起义。冬，农民暴动成功。20年，是第二届县苏维埃所在地，分布在各个角落的县列宁小学、军事指挥部等旧址，解放后定为县级文物保护单位。桃源河、大干涧在西北角汇成深水河，傍镇北向东流入淠河。因水路之便，解放前商店林立，是全区工农业产品集散地，一度号称霍山首镇。原有前后两条小街和4座城门（已废）。60年代，小三线厂内迁，人口骤增，又沿河新辟一条大街。镇设1居民委员会，有居民14513人（其中三线厂7223人），建成区面积约36.5公顷。公路四通八达，交通方便，为进一步发展创造了条件。
佛子岭镇位于县中部，东淠河东岸，距县城15公里，北纬31°21′，东经116°15′。是在兴建佛子岭水库过程中，以大坝下游4公里处的梁家滩小镇为基础发展起来的新型集镇。1955年建镇，1956年为佛子岭乡，1957年复建镇，1958年为佛子岭公社，1984年重建佛子岭镇。是中共佛子岭区委和区公所所在地。梁家滩是晾甲滩的谐音，传说古时曾有军队在这里晾铠甲而得名。解放前，这里水深河阔，船排停靠方便，故又名艨艟湾。因水运发达，商业兴盛。清道光三十年（公元1850年），洪水淹小镇，小镇一落千丈。民国期间，沿河建成半面街，市场仍冷落。1952年，佛子岭水库动工兴建，上万名军工、民工开到工地。六（安）佛公路紧傍小街过境，新建房屋沿公路两侧延伸，商店先后开业，梁家滩自然形成工区的商业、服务业中心，市场繁荣，购销两旺。镇设1居民委员会，有居民596户2419人，全镇建成区面积43.29公顷。
西镇（原名漫水河镇）位于县西南部，距县城58公里。北纬31°11′，东经116°00′。解放初属漫水河乡，1958年属爱国人民公社，1959年属上上市人民公社，1961年为漫水河人民公社，1983年为漫水河乡，1984年设漫水河镇。民国18年（1929年11月），西镇暴动成功（西镇包括漫水河区及金寨县燕子河区）。为纪念农民暴动，1985年改漫水河镇为西镇，是中共漫水河区委和区公所所在地。清水河从镇中穿过，把小镇一分为二，北岸小街名清水河，南岸小街因漫水河傍街流过，名漫水河。是皖鄂两省边境的重镇，“105”国道（霍（山）、英（山）公路的一段）通车后，各种商店沿公路两侧新建幢幢房屋，形成一条新街。有居民500多户2083人，建成区面积9.2715公顷。架在清水河上的常青桥，把两条小街连为一体，为小镇的进一步繁荣创造了条件。
大化坪镇地处大别山腹地，位于县中部偏南，距县城57公里，北纬31°13′，东经116°12′。解放初为大化坪乡，1958年属大化坪人民公社，1983年为大化坪乡，1985年设大化坪镇，是中共大化坪区委和区公所所在地。方家河同小河在镇北汇集为石羊河，向北流入佛子岭水库。鹿（吐石铺）俞（家畈）公路傍镇而过，是通向县城的主要通道。解放前，因交通闭塞，商业极不发达，仅有的1条长200米、宽6米的小街上，居住着近百户居民和两三家茶行，几家小店铺，十分萧条。1969年夏季的特大洪水摧毁了小镇，又在小镇西山坡上建新镇。鹿俞公路通车后，沿公路两侧新建房屋，形成1条新街。两条街成丁字形，并在两道河临街的河面上各建一公路桥。建设用地8.28公顷，有居民1302人。
磨子潭镇地处大别山腹地，位于县南部，距县城50公里。北纬31°１４′，东经116°21′。因旧磨子潭小街东面有一深潭，潭底有一石块如磨而得名。1957年，磨子潭水库蓄水淹没的小镇，在坝下3公里处的“石槽”建新镇，仍沿用原镇名。解放初为磨子潭乡，1958年属磨子潭人民公社，1983年复为磨子潭乡，1985年，设磨子潭镇，是中共磨子潭区委和区公所所在地。有居民1440人，建成区面积18公顷。西（溪）磨（子潭）、磨马（家河）、磨太（阳）公路在镇交汇。佛子岭水库紧傍镇边，水陆交通十分便利。沿公路两侧的店铺和民居形成的主街道，一改过去自然村落的面貌。
与儿街镇位于县东部，距县城12公里。北纬31°23′，东经１１6°26′。解放前属六安县，1950年划归本县，为与儿街乡，1958年为与儿街人民公社，1983年复为与儿街乡，1985年设与儿街镇。是中共与儿街区委和区公所所在地。霍（山）舒（城）公路紧靠镇北。原有3条小街，80年代为经济发展的需要，沿公路两侧改建和新建数十幢房屋，形成一条新街，建成区面积10.62公顷，有居民2068人。
下符桥镇位于县东北部，距县城13公里。北纬31°28′，东经１16°21′。六佛公路紧傍镇东而过。解放初为下符桥乡，1958年属火箭人民公社，1960年属下符桥人民公社，1983年复为下符桥乡，1985年设下符桥镇，是中共下符桥区委和区公所所在地。建成区面积10.83公顷，有居民1795人。旧镇仅有一条长不过百米的小街，几家店铺夹在民居之间。70年代起，沿连接六佛公路的板车路北侧建房，逐步发展成半面街，机关、商店多在半面街上。
迎驾厂镇位于县城西7.5公里处，北纬31°24′，东经116°15′。传说西汉刘安自杀后，其妻苏氏逃难经过此地，地方官员在这里迎驾，故名迎驾厂。解放初为迎驾厂乡，1955年属佛子岭镇，1956年属佛子岭乡，1958年属佛子岭人民公社，1983年复为佛子岭乡，1985年设迎驾厂镇。六佛公路穿镇而过，机关、学校、商店、工厂沿公路两侧建房，形成1条骑路街。东淠河傍镇北流过，河上一道长400余米的公路桥连接河西黑石渡。霍英公路从这里起点，交通方便，是县城的卫星镇，建成区面积140.3公顷，有居民2698人
落儿岭镇位于县城西13.5公里处，北纬31°22′，东经116°11′。传说西汉刘安妻苏氏逃难到这里生下一子，故名落儿岭。解放初属落儿岭乡，1958年属红旗人民公社，1961年为落儿岭人民公社，1983年为落儿岭乡，1985年设落儿岭镇。旧有1条长约百米的小街，几家小店铺。霍英公路通车后，沿公路两侧建房，形成1条新街。镇南是旧八景之一的“六万晴霞”——六万寨，山势奇特雄伟，景色秀美壮丽。建在六万寨下的小三线工厂东风机械厂，在交通、供电等方面，为小镇的发展创造了条件，小镇日益繁荣。建成区面积11.76公顷，有居民3100人。
附水库蓄水淹没的集镇
舞旗河（原名五溪河）位于县中部偏南，北纬31°17′，东经116°11′。濒淠河支流，有船排直放六安、寿县，入淮河可达蚌埠，天然形成漫水河、大化坪一带的竹、木、茶叶集散地。有正街1条，南北走向，长500米左右，宽5米余。街中心铺大条石，两侧铺鹅卵石；另有鹅卵石铺的巷道7条，占地约25公顷。沿街有小瓦房900多间，砖瓦木架楼房数幢，常住180多户450余人。有商店20多家，茶行数家、油坊两家，船排码头各1个。因水路交通方便，外地客商来做生意的甚多，因而经济活跃，市场繁荣。佛子岭水库大坝建成蓄水后淹没。
管驾渡位于县城南15公里，濒淠河支流，水运较发达，是南乡竹、木、茶叶、山货的集散地。一条主街东西长400余米，宽5米，5条巷道，占地约20公顷。沿街有瓦房700多间，砖瓦木架楼房数幢，常住150多户400余人。有商店14家，茶行4家，饭店数家，油坊两家，完小1所，船排码头1个。外地客商沿水路来做生意的甚多，经济活跃，市场繁荣。20年代开办的县立第三高级小学的师生，很多参加了革命斗争，不少人成为革命骨干，对六霍起义和霍山苏区的建立作出了贡献。淠河对岸的广庆庵，建筑宏伟，僧人众多，香客络绎不绝，名扬县内外。佛子岭水库大坝建成蓄水后淹没。
磨子潭位于县城南50公里处，濒淠河支流。水运较发达，但枯水季节水浅露底，不能通航。是东南山区的竹、木、茶叶等土特产品和食盐的集散地。仅有1条俗称扁担街的小街，长350米，宽6米左右，石条和鹅卵石铺面，占地约15公顷。常住120余户380多人。有茶行7家，商店20多家，饭店6家，油坊两家。沿街有瓦房480多间，木架楼房数幢，具有封闭型山镇特色。1957年，磨子潭水库大坝建成蓄水后淹没。
（二）乡村：全县有4404个自然村，其中城关镇13个，诸佛庵区795个，佛子岭区446个，漫水河区1158个，大化坪区371个，磨子潭区590个，与儿街蛆519个，下符桥区512个。