19世纪末20世纪初，安徽进步青年知识分子传播马克思主义。安庆、芜湖等地先进青年知识分子纷纷成立青年社团。民国10年(1921年)春，进步青年教师蔡晓舟在安庆创建社会主义青年团。民国11年春，安庆正式成立社会主义青年团，取名“安徽社会主义青年团”。随之，芜湖、寿县、宿县等地先后成立社会主义青年团组织。民国14年，“安徽社会主义青年团”改名为“安徽共产主义青年团。”
第二次国内革命战争时期，安徽团组织得到恢复和发展，尤以皖西苏区为最显著。民国20年皖西苏区鼎盛时期有团员2000多人，后受党内“左”倾路线的影响，团组织发展受到挫折。民国23年红军主力撤离苏区后，团组织处于停滞状态。抗日战争时期共青团改造，安徽团组织取消，成立青少年抗日救国组织，有“安徽青年抗日救国会”、“安徽省青年抗敌协会”、“安徽学生军团”、“安徽省抗日少先队”。
解放战争时期，安徽早解放的地区试建团组织。民国38年1月，中共中央公布《关于建立中国新民主主义青年团的决议》。同年7月，青年团皖北区工作委员会、青年团皖南区工作委员会成立。1952年初，青年团皖北区工作委员会和青年团皖南区工作委员会合并，成立青年团安徽省工作委员会。1954年4月，召开青年团安徽省第一次代表大会，选出青年团安徽省第一届委员会。至“文化大革命”前，共召开一、二、三、四次省团代会。1957年5月，新民主主义青年团改为共产主义青年团。“文化大革命”期间，团的机构撤销，团的活动停止。1973年4月，召开全省第五次团代会，团省委恢复，团省委领导权被一些造反派窃取。1978年全省“揭批查”运动，混入团内的造反派被清除出团。“文化大革命”后至1997年，共召开六、七、八、九、十次团代会。
安徽团员队伍和团干部队伍由少到多。团组织初创时期全省团员不足200人，团干部不足30人。中华人民共和国建立初期，安徽团员发展到17万，团干部增加到2000多人。60年代，全省团员110万，团干部7000多人。90年代，全省团员发展到245万，团干部增加到8000多人。到1997年底，全省团员285万，专职团干部7000人。在社会主义建设和改革开放时期，全省团员青年为安徽的物质文明和精神文明建设做出了新贡献。