东汉末年至三国时期，牛渚（今采石）先后设置营垒，屯驻军队。汉献帝兴平元年（194），扬州刺史刘繇始置牛渚营，屯兵横江。兴平二年，折冲将军孙策攻取牛渚营，缴获邸阁粮谷、战具。建安四年（199），孙策遣周瑜出备牛渚。建安二十年，孙权遣奋勇校尉全琮领精兵万余人出屯牛渚，筑牛渚垒。三国吴黄武四年（225），丹徒侯孙桓以功拜建武将军，下督牛渚，作横江坞。晋武帝泰始八年（272），司徒何植出督牛渚。两晋时期始置采石戍，设戍主。唐乾元二年（759），置采石军。建中元年（780），采石戍统于都督府，设军使。建中二年，江南都团练使韩晃以卢复为采石军使。元和五年（809），又以河南尹房式为刺史，兼采石军使。元和六年，废采石军。
宋嘉定十四年（1221），采石镇驻御前水军5000人，归太平州知州节制。宝庆元年（1225），江防制置使姚希得置戍卒营房3000余间于采石。
明洪武二年（1369），始置采石巡检司于采石镇江口，额设官、吏各1名，弓兵50名，器械50副，巡、哨船各1艘。正德十四年（1519），设采石参将统辖营兵。天启年间（1621～1627），置采石江防行署。崇祯年间（1628～1644），改采石巡检司为采石营参将公署，巡检司移至采石驿廨，并增设采石营，有参将1员驻采石镇。
清顺治二年（1645），并采石营，以建阳卫司屯运，又在采石江口增置右司公署，属操江标。康熙十年（1671），置芜采营，驻防芜湖，遥领采石，下辖塌桥（今塔桥）、采石等汛。采石汛设外委千总1员，汛兵16名。同治四年（1865），巡检刁赞元将采石巡检署移建采石镇北。五年，太平府置长江水师提标中营，驻当涂。马鞍山地区沿江段设守备2员，一泊采石矶，一泊和尚港；千总2员，一泊神农洲，一泊采石下汛；把总2员，一泊采石上汛，一泊和尚港；外委1弁，协防采石下汛。十三年，江防游兵营裁并，采石把总亦随之裁撤。
民国5年（1916）12月，安徽督军张勋统辖的定武军（即辫子军）两营士兵，由九江移至采石驻防。次年7月，该部哗变，骚扰采石，大肆抢劫。8月底，定武军经收编后移防蚌埠。