宣统三年(1911)，夏叙堂以庐州军政分府军队卫队营长的身份率兵进驻明教寺。面对明教寺金碧辉煌的佛像，这伙人财迷心窍，刮去释迦牟尼和十八罗汉身上的黄金，将千年古刹破坏得面目全非。民国16年(1927)3月中旬，北伐军第7军(军长李宗仁，党代表林伯渠)之第1师(师长夏威)，第2师(师长胡宗铎)经舒城到达合肥地区。在国共合作的形势下，军队中的政治工作人员多是共产党员和国民党左派。这2支部队在合肥驻军4、5天，所到地方，耕市不惊，得到人民的拥护。合肥人民在国民党合肥县党部的组织下，召开欢迎大会欢迎北伐军，并组织慰劳队慰劳北伐军将士。北伐军所需物资，均由县党部给价代办。人民群众也主动给军队带路当向导，军民关系较为融洽。4月，张宗昌的北洋军阀直鲁联军部队围困合肥城近1个月，在城郊一带奸掳焚掠，无恶不作，人民被迫背井离乡，造成数十里乡村十室九空的惨状。后来张宗昌部兵败溃散，合肥近郊农民自发追杀张军，捕杀张宗昌收用的白俄哥萨克骑兵多人。归顺国民政府的安徽地方军马祥斌部以及王金韬的部队坚守合肥，挫败北洋军阀张宗昌部的围攻，使合肥城免遭浩劫。不久，马、王二人遇害，合肥各界人士感激二人有功于合肥，捐资万余元，于民国17年春在城中心四牌楼建立“马、王二公祠”，以永久纪念。5月以后，武汉国民政府第35军何健部之陶广师进驻合肥近1月，强迫人民使用国库券、中央票，引起市民反感。其余扰民行为尚少。同时，驻在合肥的南京国民政府第33军柏烈武部，因属新招募的部队，纪律松驰，又无固定军饷，甚为扰民；不讲卫生，随地大小便，时值初夏，大街小巷臭气冲天，合肥人称之为“屎军”。
民国26年7月抗日战争爆发后，半年时间内，华北及沪、杭、宁等地相继沦陷。由前线撤退，途经合肥的国民党军队，特别是伤兵，自恃抗日有功，在市场上胡作非为，强买、强卖，将河北、山东、江苏等地银行发行的只限各省境内使用的纸币带到合肥，强行流通。商贩如拒用，即以“汉奸”、“奸商”、“破坏经营”等问罪。一时间，有的商店被士兵打、砸、抢，有的商店被迫关门，市场一片混乱。当局又勒令商人开门应市，商人就以涨价来减少损失，于是物价成倍上涨，人民大受其害，叫苦不迭。
民国27年，国民党桂系部队入皖，其先后驻防合肥的部队有隶属于第7军、第48军的138师、171师、172师、176师。桂系部队官兵多系广西籍，作战较为顽强，在抗日战争初期至民国30年期间，对日作战尚属坚决，曾歼灭日军包括少将在内的大批官兵。该部对日作战时，曾得到合肥人民的支持和帮助。如民国30年农历腊月初一，日军以2个联队(相当于2个团)兵力，在6架飞机掩护下，分三路围攻肥东梁园镇。驻守该镇的国民党桂系第171师511团、512团各1个营，在511团副团长谢吉方率领下，坚守梁园镇3日，给日军以严重杀伤。在激烈的战斗中，梁园镇的青抗会等组织，动员民众抢修工事，送饭送菜，抢救伤员，坚决支持这支部队保卫家园。
合肥县政府当局在抗战期间奉命支援军队抗战，尚属积极，在征兵、征粮、征夫等方面多能完成任务。在奉命组织民众慰劳军队方面，民国31年曾发动全县募集军鞋4000双、寒衣费2679.5元慰劳军队。民国32年初又开展“春季劳军”运动，全县配募劳军款达60万元，劳军白布1000匹，均完成任务，交国民革命军第21集团军收用。在抗战的艰苦条件下，合肥人民为支持抗战，出钱出物，其中又难免区、乡、保、甲从中舞弊，其牺牲之大，可想而知。
驻合肥国民革命军，在与国民政府、民众交往方面常发生矛盾，诸如不经政府征兵系统，擅自拉壮丁入伍；不按规定，随便支用地方公粮、民夫、马料等情况，均常见于国民党县党部办的《合肥日报》。民国32年7月，合肥县官亭区雷麻乡，因征集民夫运输军用物资未令军队满意，竟被桂系172师军官廖肇忠率部将乡公所包围，将乡长周树楠拖出枪毙!
民国30年以后，随着反共高潮的掀起，国民党新桂系反动本质逐步显露，不再积极对日作战，反而与日军配合起来攻击新四军部队，进占合肥境内中国共产党领导的抗日民主根据地，其欺压劳动人民、凶狠残暴的特点也暴露无遗。民国32年阴历6月，桂系第172师在三河镇消灭“巢湖警备大队”行动中，滥杀无辜。“巢湖警备大队”是民国27年由国民党安徽省当局招安巢湖土匪后，又补充当地农民编成的，大队长是桂系派去的军人舒启勋。由于部分成员匪性不改，不听当局调遣，安徽省政府遂于民国32年决定由桂系第172师参谋主任肖竹樵指挥3个营的部队，在三河镇将其消灭。桂系部队在逮捕枪杀了巢湖警备大队除大队长外(桂系军人)的各级军官后，大开杀戒，凡有点牵连的人格杀勿论。14岁的吴孝斌，因当巢警队的哥哥逃走，便被捉去枪杀。周业见、李志德等无辜百姓，因亲戚是巢警队的，均被抓去杀害。姚小郢的姚作柱，因当时在巢警队看望朋友，也被不问青红皂白杀害。肖竹樵在三河和巢湖一线封锁3个月，严格搜查往来行人，稍有怀疑，即把人扣起来，在每天下午三、四点钟押到太平桥集体枪杀，一天要杀5～10人甚至20多人。最大规模的一次是在罗祝店围住80多人，架起机枪扫射，将80多人全部杀害。就这样杀了3个月，在三河镇，杀掉约270多人；在罗祝杀死100多人；在新河杀死7o多人；在庐江境内的白山杀死200多人，造成三河地区最大的惨案。被杀者绝大部分是无辜的老百姓，当时的安徽省政府也认为肖竹樵杀人过多而将其调离三河，另调桂系第7军副官处长杨飞龙接替。三河人民永远难忘这次血腥屠杀。解放后的1957年，元凶肖竹樵在云南昆明市被查获，经肥西县人民法院审判，于1958年7月4日被押至三河镇枪决。
到了抗战后期，桂系军队纪律愈加败坏。第21集团军总司令李品仙带头动用军队搜刮民财，走私资敌，谋取暴利，甚至出动工兵开掘古墓，盗劫文物。他曾指使部属，威逼合肥淮军将领刘铭传的后裔交出国宝“季虢子白盘”(未遂)。结果上行下效，桂系军官搜刮民脂，残害百姓成风。桂系军官隆武功充任合肥县长时，横征暴敛，强娶民女，作恶多端，激起民愤。民国33年秋，桂系第48军的军需官，化装成商人，用“冥币”巧妙伪装成刚从银行领出的成捆未启封的钞票，将三河“陈有记”布店30余匹草绿、草黄色斜纹布骗走，使店主损失6万多元资本。后来探知，是该军需官为中饱私囊所为。此事轰动合、舒、庐三县。当时合肥民谣云：“早防空，晚防空，白昼又防隆武功”。“养了儿子老蒋的，养了女儿老广(西)的。”
日本投降后，合肥县长隆武功和接收司令邱清英(桂系军官)首先进城，大肆掠夺物资，肆意指定民产为敌产，没收据为已有。还以供应军需为名，向四乡摊派粮食，名为购买，实际不给分文。刚刚摆脱日军统治的合肥人民又陷于水深火热之中，当时流传“安徽未亡于日本，而亡于广西”之说。
民国34年10月以后，国民党安徽省政府及省保安司令部及第8绥靖区所属的第7、第46、第48军所属部队陆续进驻合肥，与地方时常发生摩擦。民国36年，国民政府军队—青年军第202师驻扎合肥。该部虽名为“青年军”，兵员中青年学生较多，但纪律状况并不比其他国民党军队好多少。5月的一天，合肥一初中二年级学生谢维尧在看电影时，因座位纠纷被青年军军人殴打后拖至小东门外国民党皖干团的青年军驻地。全校师生闻讯后十分气愤。次日，学校罢课，约合肥各中学学生在府学(今安庆路第二小学处)一带集中游行示威，同时张贴“反内战、反饥饿、反迫害”等标语。在一、两天内，形成全市性的罢课、罢市。在广大合肥人民的声援下，青年军第202师被迫登报道歉，表示：“负责医治被打学生；惩办肇事者；保证不再发生类似事件”。同年5月，安徽各地米价猛涨，合肥市爆发抢米风潮。当时国民政府军队在合肥设有军粮采购处，于5月16日武装押运的粮船遭到合肥市民拦截，卫兵开枪射击，将一江姓少女打死，激起了群众的愤怒。在群众的抗议下，国民党合肥县长汪廷霖只得接受群众提出的“严惩击毙江姓少女凶手”等三项条件。同年，国民政府军队三河军粮采购处为囤放军粮，竟出动军警驱走三河中学(时称“肥南中学)师生，将校舍强占为粮仓，激起三河中学师生和人民的强烈反对。民国36年9月，安徽省教育厅《奉教育部令查报肥南中学为军警驱散案》称：“肥南中学为合肥南部惟一中学，学风斐然，声绩素著。去秋因勒敛军粮，无所储蓄，遂令该校为仓栈。四乡绅老为易具粮仓，不获准。该校数百师生哭恳再四，亦终无效。于是未及在考，该校即为军警驱出，仓惶解散。”经过数月斗争，到民国37年，国民政府军队才将粮食运走，三河中学恢复教学。
民国37年3月，合肥县参议会致电省政府、省保安司令部、第8绥靖区司令部，“请严禁机关兵丁出城拦购草米”，称：“本城机关林立，驻军尤伙，食粮烧草，多赖四乡或邻县输入，惟近来不肖兵夫，出城数里，兜拦米草，以最低价强购，致贩运者无利可图，群相裹足，因是城内米草来源渐绝，居民大起恐慌，数万市民将何以堪，电请钧部察核，严行取缔，以资疏畅(米、草)来源，而维市民生活安定。”时民谣讽“青年从(军)、军官总(队)、国大代(表)”为“三害”。
民国37年12月，国民政府军第68军81师残部(属刘汝明兵团)约2个团，从淮海战场溃败到合肥。该部多为北方人，被合肥人称作“侉兵”。该部在合肥时间仅月余，却大肆抓兵征粮，闹得合肥居民人心惶惶。一些青壮年被迫向四乡逃避；有家室之累的，每晚数以百计偷偷地带着被子溜到县政府借宿，指望得到国民政府的庇护。有些居民，在家中挖地洞躲避抓丁。尽管如此，仍有大批青壮年被抓走当兵，有些至今杏无音讯。在人民解放军解放合肥前夕，市民们盛传解放军已沿淮南铁路到来，立时城中鞭炮齐鸣。但当见到从城外开过的是刘汝明的部队时，市民们才知是一场误会，遂立即回避。刘部官兵见状气坏了，一个高级军官恶狠狠地说：“咱们还没走，你们就欢迎共产党了!”便大肆捉人、打人。第二天中午，人民解放军人城，队伍走到哪里，合肥市民的鞭炮就响到哪里。