1949年4月马鞍山地区解放，当时只有金钟、玉泉、矿工3村，属当涂县采石区。1952年2月，合金钟、玉泉、矿工3村成立金泉乡，为马鞍山地区最早的乡级人民政权。1954年2月17日，以金泉乡为基础成立马鞍山镇，为区级政权。1955年1月27日，又以马鞍山镇、向山镇、慈湖乡为基础，成立马鞍山矿区人民政府，为县级政权。1956年4月，安徽省人民委员会开始酝酿设置马鞍山市，同年7月，省人民委员会遵照国务院内务部批示，决定成立马鞍山市筹备处，并下发了成立筹备组织机构的通知。9月15日，经安徽省人民委员会批准，以源矿区政府为基础，组成马鞍山市筹备处，属安徽省人民委员会直接领导。10月12日，国务院正式批准设置马鞍山市。10月15日，省人民委员会在《关于设置马鞍山市、铜官山市的通知》中，明确规定在市筹备处的领导下，成立市选举委员会，积极做好1956年基层选举和市人民代表大会代表的选举工作，以便召开市人民代表大会，选举成立市人民委员会。12月9日，马鞍山市开始第一次基层选举，至翌年初选举结束。根据《中华人民共和国地方各级人民代表大会和地方各级人民委员会组织法》的规定，1957年3月5～9日召开了马鞍山市首届人民代表大会，选举产生了马鞍山市人民委员会，开始在市行政区域内行使职权。
1966年5月“文化大革命”开始后，马鞍山市逐步陷于动乱中。1967年1月，市群众“造反”组织非法夺取市委、市人委的领导权。市人委各级机构陷于瘫痪。1968年3月15日，经中共南京军区党委和安徽省军管会批准，成立由军队代表、干部代表、群众代表组成的“三结合”的马鞍山市革命委员会，行使全市的行政领导职权。1976年10月粉碎江青反革命集团后，马鞍山市行政领导机构仍保留“文革”中革命委员会的形式。1980年1月召开的市八届人民代表大会，根据《中华人民共和国地方各级人民代表大会和地方各级人民政府组织法》的规定，将马鞍山市革命委员会改为马鞍山市人民政府，行使全市的行政领导职权。