秦始皇二十六年(前221)，置砀郡及砀县。
《汉书·地理志》：“砀山出文石”。《水经注》：“获水又东迳砀县故城北，秦立砀郡，盖取山之名。”训诂学家颜师古注：“以有砀山故名砀郡，砀，文石也，其山出焉，故以县名。”《明史·地理志》：砀山县“东南有砀山，其北有芒山。”《寰宇通志》：“砀山，在砀山县东南七十里，县之名取此。”
汉高祖五年(前202)，建梁国，革砀郡，砀县属梁国。
新莽时(9)，改砀县为节砀县。汉光武帝时复称砀县。
东汉章帝建初四年(79)，迁梁国于下邑(治所在今砀城东3里毛李庄处)，砀县属梁国。
三国(魏)革梁国，砀县属徐州。
晋武帝泰始元年(265)，复梁国，砀县并入下邑县。
南北朝宋时，复置砀县，南齐(479)废。北魏孝昌元年(525)下邑县移治今河南夏邑；二年(526)，置砀郡、砀县。砀郡治所在原下邑城(今毛李庄处)；砀县治所鲁城(其址查无考)；北齐(555)废砀郡、砀县，置安阳县。
隋开皇十八年(598)，改安阳县为砀山县。隋大业六年(610)割彭城、睢阳二郡之地置永城县，芒砀山以北为砀山县辖区。
唐，砀山县属睢阳郡。光化二年(899)朱全忠以砀山、单父、虞城、曹州之域表置辉州。后唐砀山县属单州。
宋，属单州。
金兴定元年(1217)，砀山县改属归德府(今河南省商丘市)。兴定五年升永城县为永州，辖下邑、砀山、郏三县，芒砀山一带又属砀山县所辖。宋理宗绍定年间(1228—1233)，砀山县为洪水荡没，迁治所至保安镇。
元宪宗七年(1257)，复置县，还旧地，属东平路。元至元二年(1265)，降永州为永城县，芒砀山一带再属永城县。是年，砀山县并入单父县，至元三年，复置砀山县，属济州；八年，属济宁路。
明洪武八年(1375)，砀山县属徐州。
清雍正八年(1730)升徐州为府，砀山县属徐州府。
民国元年(1912)砀山县属江苏省徐海道；22年属江苏省行政督察铜山区；24年属江苏省行政督察第九区；37年11月，砀山县属江苏省徐州所辖。
民国37年11月，砀山县属豫皖苏三分区所辖；1949年元月，属中原行政区商丘专署所辖；1949年10月，属皖北行政区宿县专署所辖。
1953年2月1日，砀山县属江苏省徐州专署所辖；1955年2月17日属安徽省宿县专署所辖；1956年属蚌埠专署所辖。1961年，砀山县属安徽省宿县专署所辖，至1985年未变。