一清代地方武装
清末和民国初年，组织群众预备性的地方武装。光绪二十九年（公元1903年）实行军事改制，推行地方保甲团防，兵乱时，合数保壮丁为1团，互相守助，称“团防”。县设团防局为主管机构，配有团董和文牍、教官。全县96保共建12个团，城关1个团，东北乡14个保两个团，南乡27个保3个团，西乡54个保6个团。
二民国地方武装
民国21年（1932年），县成立常备大队，县长兼大队长，辖3个中队和1个独立排，官23名，士兵336人，27年改为保警大队。26年成立县抗日人民自卫军司令部，县长兼司令，辖3个中队，约百余人枪。27年，成立县国民兵团，县长兼上校团长，设专职中校副团长1名。县政府设军事科，或副团长兼科长，或军事科长兼副团长。国民兵团辖3个中队，约百余人枪。乡有乡分队，10——20人枪。31年，县建自卫队，辖3个中队，303名士兵，有266支步枪，2挺轻机枪。36年，县成立人民自卫团，约2500人枪。38年初，在上土市成立国民党县政府和民众自卫团，县长郑荥波兼团长，何静峰任副团长，辖3个营，有700余人枪。
三苏区地方武装
（一）赤卫队赤卫军民国16年后，随着革命中心由城市转入农村，本县群众性革命武装兴起并发展，初期在东北乡、西镇等地有“摸瓜队”（摸瓜即杀头），南乡有“阴兵”，（夜间活动），后发展成赤卫队，赤卫军。18年11月，成立西镇暴动指挥部。20年，成立赤卫军司令部，司令王盛楷，政治委员萧青，参谋长余坤山，政治部主任崔正芳，同年5月改为军事指挥部。苏维埃政府规定，苏区群众15岁以下参加儿童团，16——20岁参加少先队，都要参加一定的军事活动，20——40岁参加赤卫队。苏区鼎盛时期，全县约有赤卫队员万余人。
（二）游击队民国18年，东北乡、西乡、西镇各组建一支游击队，东北乡游击队有钢枪30多支，西乡游击队有长枪56支，西镇游击队实力最强，有长枪74支，盒子枪1支，队长徐育三。中共霍山县委直接组建的一支游击队，有钢枪40支。同年夏秋间，县委成立军事委员会，县委书记舒传贤兼军委书记，设组织、训练、机械、交通4部、士兵委员会和游民无产阶级运动委员会。
（三）常备队独立团民国19年4月，具苏维埃政府设军事科，同年秋组建常备队，约500——1000人枪。20年5月，第二届县苏维埃政府成立军事指挥部，主任俞昆白，后为袁仲由。21年6月，在西镇成立的五垦县也设军事指挥部，指挥杨继明。同年夏，组建霍山独立团，团长张滔，有千余人枪。
四新中国地方武装
（一）机构
人民武装部1950年底成立，主管兵役和民兵工作，1954年11月，改名兵役局，1959年11月，复为人武部。1983年，为改革民兵政治教育，开展每月一堂政治课教育活动，在全县建“民兵（青年）之家”。1984年11月，南京军区政治部通报表扬，并授予奖旗。1984年在培养军地两用人才工作中，取得显著成绩，1985年12月，受到省政府、省军区表扬，荣获锦旗1面。
县人武部历任主官名单

武装委员会为加强人民武装工作，1963年，成立县武装委员会，县长兼武委会主任，县人民武装部具体办理武委会的日常工作。
（二）武装部队
县大队民国36年9月，县民主政府成立，37年1月，组建县大队，大队长蒲振华，后为惠举贤，政委牛永昌，有300余人枪，辖诸佛庵、管驾渡、大化坪3个区干队。不久，其他各区也相继组建区干队，每队10——20人枪。太平县政府组建1个基干连和4个区干队，200余人枪。37年2月，县组成东、西两个军事集团，东集团辖晓天、三元关、东西溪等地，指挥李润堂、蒲振华，辖一支84人的武工队，指挥兼政委李克柱。西集团辖包家河、太平畈等地，指挥余曙光、惠举贤。38年1月，东、西集团合并，组建县大队，队长蒲振华，1952年撤销。
县中队民国38年（1949年）4月，组建公安队。1952年，改建为中国人民解放军公安中队。1955年8月，改建为中国人民警察队。1962年，改为中国人民解放军霍山县中队，由公安局领导。1966年7月，改由人武部领导，1975年10月复归公安局领导。1983年，改为国人民武装警察部队霍山县中队。