一、清政府军队
顺治三年(1646)前，驻有砀山营，同年改为肖营。康熙十一年(1672)，因砀、肖地广人稀兵单，江阴营拨马步战守兵丁141人归肖营。康熙三十年，驻砀马步兵丁80人，后裁减20人。雍正七年(1729)，改归河标营，把总、步战兵、马战兵、步守兵、马守兵等，每年春饷银941两4钱(俱到徐州府库支领)，米180石(俱到淮安府库支领)。同治十三年(1874)，驻砀兵丁120人。
二、太平军、捻军
咸丰四年(1854)三月，太平天国军队数万人驻扎在萧县黄口至砀境内，连营数十里，6天后渡黄河北进。
咸丰八年(1858)四月十二日，捻军先头部由夏邑进行唐寨一带，十五日，张乐行、苏天福、王冠三、袭德树等人率部从各路至砀山，在赵屯至黄河故道之间，大战砀山团练告捷。
三、北洋军阀军
民国初年，砀城驻有江防营，约两个营的兵力。
北洋军阀战争期间，砀山县为直奉两系争夺区，起初驻有奉军，后奉军败北。民国14年(1925年)奉系军阀卷土重来，驻扎砀城。民国15年，直系军阀孙传芳的五省联军进驻砀山。是年孙殿英的军队两次路过砀山，每次都在砀山筹集粮饷。民国16年春，奉系军直鲁联军进入砀城，并任命县长。是年夏，北阀军攻占砀山，不久南撤。下半年，奉系军被冯玉祥部战败后东撤。
四、国民党军队
北洋军阀时期，起初有王虎城(又名王金妮)带领北伐军先遣三支队进驻砀境。民国16年下半年，冯玉祥部一个旅驻砀山。
抗日战争时期，国民党军队多是路过砀境或短时驻砀。民国26年有三十一、五十八师、七十四师、桂军徐启明师、川军邓锡侯部四师、于兴忠部周光烈师、二十七路军、九十五师、八十七师、五十一师等。李宗仁、邓锡侯曾驻砀城。民国27年5月，先后有俞济时部3个师及第八军一Ｏ二师(师长柏辉章)进驻砀境。
解放战争时期，国民党军队亦多是过境或暂住砀山。民国34年9月，廖运泽军长率部驻砀。其后又有江苏省保安团驻砀城。民国35年，先后有新五军、新编十一师、八十八师及交警部队进驻砀山。民国36年，有新编二十四师第七旅、整编二十一旅先后驻砀。民国37年，国民党第二兵团司令邱清泉部驻砀山。
砀城沦陷后，四区区长蒋嘉宾在砀城西组建抗日游击队。不久，蒋嘉宾率百余人武装去丰县与李贞乾、王文斌领导的抗日武装汇合，被编为湖西人民抗日义勇队第七大队，蒋任大队长，尹夷僧任教导员。民国27年秋，在开辟单砀公路以东地区时，同日军遭遇，七大队被打散。蒋嘉宾回四区重建武装，称“四区队”，李昌俊任大队长，刘砀珍任大队教导员，继续抗日。后又组建第二大队，刘砀珍任第二大队长，孟宪泰任教导员。同时在陇海铁路南夏邑县境内组建第三大队。冉昭德任第三大队长，谢保树任教导员。活动在夏邑县北部，虞城县东部，砀山西部、单县南部，方园近百里。民国28年冬，国民党第15集团军第二军(何桂圆部)两个骑兵团在单县南大朱集与日军交战受围，蒋嘉宾率部出援，将日军击退，骑兵团长刘余三送蒋20万发子弹致谢，蒋以缴获日军的两匹战马回赠。后经何柱国向第一战区司令长官卫立煌要来“国民党第一战区独立游击队第三十支队”部队番号给蒋，并委其为支队长，第一战区派张达生任副支队长，每月军费5千元。民国30年，改番号为苏鲁豫皖边区第十八纵队，蒋嘉宾任纵队司令，张达生任副司令(尔后，张因捣乱被赶走，刘耕来任副司令)，每月军费2万元。十八纵队下辖52、53、54三个支队，一个骑兵大队，一个机炮大队和一个工兵中队。并办有制革、制鞋、织布、缝纫、制弹、造枪等兵工厂。计有官兵5千多人。蒋嘉宾所部纪律严明，受到群众好评。民国33年夏，蒋嘉宾率部攻克虞城县县城，俘虏日军司令泽田等10余人，击溃伪军曹永年部。后又击溃驻商丘日军左久骑兵14旅团、驻杨集车站日军乔基部队及驻老君寨日军小林部队，共缴获各种枪近千支。此后，史晓昭(中共党员，砀丰单三县大队队长)多次同蒋嘉宾接触，宣传中国共产党的政策，讨论抗日形势及其发展前途。蒋曾给人民军队送过子弹，提供日军活动情报，营救被国民党逮捕的中共党员干部。民国35年8月14日下午，史晓昭、李汝太受杨勇司令员、王幼平政委的委派前往蒋嘉宾处，劝蒋起义。8月15日，蒋嘉宾响应中共中央“七七宣言”，在虞城、砀山两县交界处康楼村宣布起义，并电告全国(电文见民国35年8月25日《解放日报》第二版)，晋冀鲁豫边区的刘伯承、邓小平、滕代远、薄一波等军区领导人为此发表贺电(电文见民国35年8月25日《解放日报》第二版)，任命蒋嘉宾为鲁西南纵队司令。蒋率部向黄河故道北解放区转移，途至大崔庄时，国民党新五军邱清泉尾追讨来，蒋部的刘耕来、丁一纯、高一侠等人暗与邱清泉联络、密谋反叛，蒋嘉宾被迫只身出走，史晓昭受伤、李汝太的通讯员被刘耕来当作解放军的代表交给邱清泉遭枪杀。
五、人民军队
抗日战争时期，湖西军分区主力部队第八、九、十、十二团常活动在砀北地区，进行抗日斗争。民国28年元月，八路军苏鲁豫支队(原八路军115师343旅685团)副支队长梁兴祚率一个大队驻周寨区张屯一带，先后摧垮汪楼、陈集、大小黄楼和唐寨等处地方反动武装，并与国民党县政府建立统战关系，共同反击日伪。民国29年6月，苏鲁豫支队奉命南下中原地区，八路军黄河支队常活动在砀北。在砀南地区常驻有新四军四师所属部队，配合地方武装进行抗日。
民国35年8月，晋冀鲁豫野战军七纵队根据中共中央“以自卫战争粉碎蒋介石进攻”的指示，向陇海铁路沿线地区出击，10至12日解放砀城。在攻击砀城的同时，湖西军分区主力部队八团及独立旅攻击李庄车站。13日野战军南下，15日国民党新五军进犯砀山，占领砀城。民国36年，为切断国民党控制的陇海、平汉、津浦铁路联系、华东野战军发起陇海铁路破击战，一纵队于11月5日由山东定陶出发，7月到达砀北马良集一带。8日至10日攻打砀城，砀城第二次获得解放。不久，野战军转移，国民党八十八师二十旅进驻砀山。民国37年5月下旬，人民解放军十一纵队三十二旅攻占李庄车站。是年11月6日，淮海战役打响后，为切断敌人西逃之路，保障冀鲁豫解放区支前物资运输，华东野战军三纵队九师和两广纵队奉命分别沿陇海铁路两侧及黄河故道挺进砀山，7日午夜向砀城守敌发起进攻，8日黎明，砀城第三次获得解放。
建国后，原武汉军区一军(现属南京军区)的一个连在曹口八一农场驻防，1983年换防时调走。砀山劳改农场常年驻有公安武警一个中队看管劳改犯人，1965年改为中国人民解放军，隶属人武部管辖，1974年后改为武警中队。砀城还常年驻有武警消防队，该队组建于1968年，主要担负全县的火灾抢救任务。
附：日伪军
民国27年5月，日本侵略军第16师团进犯砀山，分驻李庄、马昴寺、李暗楼、毛堤口、砀城、蒋庄、杨集、陈腰楼、黄菜园、常集寨、朱庄、纪庄等据点。驻砀日军司令部设在砀城东关城门内路北，也叫城防司令部，又叫大日本守备队，总管日伪军政事务。在砀城南关路东今人民电影院处驻有日本宪兵队，高山、清水、山崎先后任队长。驻砀城日军时有几十人，时有百余人不等。民国29年，大佐河野曾驻砀城。民国31年，日军川奇部一个营驻砀城。
砀城沦陷后，日伪县政权(砀山治安维持会)成立砀山自卫团，(各区成立自区中队)。后又改为砀山警备总队、淮海省砀山专区保安队。