马鞍山民兵始建于民国27年（1938）。是年7月，新四军二支队三团进驻濮塘地区，在建立“农抗会”、“青抗会”等群众组织的同时，采取乡设中队，保设分队，甲设班的办法组建民兵，18～45岁的青壮年共1500余人参加了民兵组织。民兵主要任务是为新四军搜集情报，锄奸反霸，维护社会治安。民国28年底，新四军主力相继撤离，经“横山事件”后，民兵组织损失殆尽。民国31年6月，新四军十六旅四十六团进入横山地区，民兵组织又得到恢复和发展，参加民兵组织的人数达到3700多人。解放战争时期，新四军撤往苏北，国民党反动政权实行白色恐怖，联保连坐，民兵组织难以恢复，直到民国37年下半年，民兵组织才逐步得到恢复。
建国初期，民兵工作有较大发展。1950年，有70％的自然村建立了民兵组织。1951年，民兵组织进行整编，分基干民兵和普通民兵两种。到1953年，所有自然村都有了民兵组织，民兵建设得到全面普及。到1958年8月，经过广泛的组织发动，全市建立了3个民兵师，下辖28个民兵团，162个民兵营，429个民兵连，民兵人数达8.6万人，占全市总人口的42.9％。其中，基干民兵1.9万人，普通民兵6.7万人，民兵干部1047人。1962年1月，根据国防部颁发的《民兵工作条例》，对全市民兵进行了全面整组。通过整组，全市建立33个民兵团，下辖172个民兵营，435个民兵连，并组建民兵防化、通信、侦察等分队，共有基干民兵3.8万人，普通民兵2.8万人，各级民兵干部人数达5327人，民兵总人数比1958年下降了14.7％，占全市总人口的比例下降到34.7％。民兵组织得到巩固，结构趋于合理。自此开始，民兵年度整组形成制度。1970年12月，遵照毛泽东主席“要准备打仗”的指示，经宣传动员，目测评议，政治审查，配干编组等阶段，马鞍山市城市民兵基干团正式组建。基干团共编4个营，12个连，总计1897人。同时配发了相应的武器装备。1973年8月，组建马钢一铁厂高炮连和一钢厂高炮连；1974年，组建马钢耐火材料厂高炮连和十七冶一公司高炮连。以后，逐步增配高射机枪，组成10个高机连。1981年7月，组建高炮营，下属4个高炮连，3个高机连。同年12月，在马钢自动化计控研究所组建高炮营指挥排。另有7个高机独立连。高炮高机连队的组建，初步奠定了马鞍山城防力量的基础。