一、道教
元代时在城内建立迎祥观，又名三清观、大观。明初，张三丰在该观修炼，留有混元衣。清代，阜阳城内有道处，州、府衙门置官管理。民国期间，国民党当局拆寺观，毁神像，道教徒为保护其利益，于民国25年(1936年)成立了阜阳道教协会。解放初期，著名的庙观还有十多处，道士约60人。土改期间，大部分返俗，其上层人物张静庵于1958年去世。1961年，陈拂尘、常华庵出席阜阳县政协会议，陈、常先后去世，道教后继无人，停止活动。
阜城著名的道观有：
迎祥观在城内西北隅，供奉三清尊神，元代初建，原有房屋60间，庙地500亩，现房屋神像全毁，为阜阳地区财政局、人事局宿舍和干休所。
城隍庙在城内。供奉城隍爷、十殿阎罗。明洪武十八年建。清代重修，原有房屋50间，庙地400亩。解放后多次维修，现为地区群艺馆。
刘公祠在城西北角，供奉抗金英雄刘锜。明代初建，清乾隆十五年重修，(1939年)被拆毁后重建。现有殿堂6间。
二、佛教
相传佛教于北魏孝明帝时传入阜阳，及至清代，阜阳有寺庵十数处。每座寺庵都拥有一定的土地，多者1500亩，少则数10亩。辛亥革命后，废庙兴学，毁像逐僧，庙田改学田，佛教活动受到严重的冲击。为维护宗教利益，一些僧尼发起组织“阜阳佛教会”，联合进行反抗舲和尚当选为会长。解放前夕，国民党军队在资福寺构筑工事，在大殿屋顶上凿洞，使大殿受到破坏。解放后，人民政府保护寺院，并安顿僧尼生活。1952年10月，经人民政府普查，全市有和尚18人，尼姑19人，居士4人。土地改革时期，许多僧尼陆续返俗，有的则成为国家职工。“文革”期间，有些宗教文物受到毁坏，上层人物释秉初也于1975年病死。中共十一届三中全会以后，党重申了宗教信仰自由的政策，但没有活动寺宇，仅存的和尚释涤尘、尼姑昌元等5人，均年事已高，佛教活动基本停止。
阜阳佛教界的上层人物：
悟领准提庵民国6年(1917年)任阜阳佛教会会长
俭斋月城关帝庙民国8年(1919年)任阜阳佛教会会长
信禅华严寺民国13年(1924年)任阜阳佛教会会长
释秉初资福寺民国20年(1931年)任阜阳佛教会代理会长，民国25年(1936年)任中国佛教会阜阳临泉两县分会理事长，民国35年(1946年)任中国佛教会安徽省阜阳县支会理事长、1959年任中国佛教协会理事。
人民政府尊重佛事活动，照顾僧尼生活，对释秉初等按月发给生活费，对年过古稀的释涤尘等均给予妥善的安置。
主要寺庵现存的有资福寺，其他多已拆除或残破倒塌。
资福寺位于大寺街，始建于北宋嘉年间，扩建于熙宁年间，历代多曾维修，有山门、天王殿、大雄宝殿、藏经楼、僧房、客房等近百间。供有弥勒佛、十八罗汉等。原有寺产1500亩，而无僧人主持，房屋多破坏，且为街道企业和市民占用。现存大雄宝殿一座藏经楼20多间，为省重点文物保护单位。
古堆寺在城东南2里，清代建，原有房屋9间，庙产120亩，寺宇毁于黄灾，院内建有文峰塔，高7层，为清康熙三十五年建，80年代维修后，现巍然耸立，十分壮观。
三、伊斯兰教
明洪武年间，伊斯兰教随回族迁入传至阜阳，太平天国时期，山东移来的穆姓、四川绵阳县答家湖的答姓，金陵迁来的马姓、陈州的穆姓相继迁入。清咸丰9年(1859年)回、汉民发生纠纷，口孜集恶霸张二秃子带人放火焚烧东关外回民聚居的桂花街。抗日战争初期，国民党的两广军人，驻进清真寺，吃猪肉、毁寺院。解放战争时期，国民党第十四馁靖区司令，下令折毁城东关外太平岗南寺，并火烧太平岗北寺。解放后，党对宗教实行保护政策，清真寺的养寺土地323亩，允许继续出租，一直到实行农业合作化时。对教徒的婚丧事所需油、面，给予照顾，吸收教徒担任国家机关干部或为企业职工，对贫困户支援照顾，对阿訇生活进行补助，并帮助修缮了清真寺。但在“文化大革命”时期，宗教活动被迫停止，阿訇被赶出寺。中共十一届三中全会以后，宗教活动恢复起来，上层人物受到尊重。，1980年阿訇姚荫桐被选为县人大代表，阿訇答静富担任了市政协委员，马玉芝担任了市人大代表和市政协委员。上层人士穆少峰、姚荫桐、马文杰均享受定期生活补助。对教徒的计划生育放宽，死后可以不火葬，宗教习俗均受尊重。
阜阳城内青云街清真寺，明末建，面积5亩多，瓦房数十间，大殿5间。光绪二年(1876年)重修，“文化大革命”中，街道生产，硫磺起火炸毁大殿，1981年，政府拨款和回民集资重建大殿。大殿前有古银杏树一棵，相传系答氏先人所栽，树干高约6米，枝叶茂盛，年年结果。树旁有古井一眼，水质甘甜，为教徒专用井。
重大节日有三：(1)开斋节，又称肉孜节，在回历10月1日。(2)古尔邦节，又称宰牲节，在开斋后70天。(3)圣纪节，穆罕默德诞辰，在回历3月12日。每逢节日，宰牛羊、聚餐，并在寺内洗浴做礼拜。
教民禁食猪、驴、骡、狗肉，所食牛、羊、鸡、鸭等动物，必须经过阿訇宰杀。
在婚姻上，同教方可结婚，结婚时，须请阿訇作证婚人。婴儿生下三天，举行“吹班克”仪式，念祈祷词，起经名。
教徒死亡时，请阿訇做“讨派”，尸首用清水冲洗，以白布裹身，有经匣盒，大架子送至坟地，临葬前要念经，将亡人托出放入搭铺里。葬后七天、对月、四十三、百天、周年，要请阿訇走坟，烫面炸油香送亲友，表示谢意。
教徒经营饮食业，都要挂牌子、红坠子，上写“清真教门”字样。
四、天主教
光绪二十七年(1901年)，法籍传教士聂思聪从太和来阜阳传教，遭到人民的抗阻，被迫返回。次年，法籍驻亳总铎南从周串通颍州知府联福，软硬兼施，得到支持，强行在小隅首南建立教堂。光绪三十一年(1905年)，教堂建成，设立女学院，聘来上海圣母献堂杨、张两修女主持，但入院者极少。光绪三十三年)(1906年)，创办男女保守学，光绪三十三年(1907年)增设经言班。伙食由教堂供给，学者日多，入学者读完必修课，才能受洗入教。成为教徒。
民国初年，阜阳属于江南教区，后归蚌埠教区。抗战期间，阜阳发展教徒约千余人，解放初期，有神父、修女、修士近10人，信徒3000人。1952年，索培伦等外籍教士先后回国，修女陆文辉利用宗教进行反革命活动，受到法律制裁，天主教暂停活动。1956年，中国籍教士霍牧声来阜阳主持教务。1969年，霍牧声下放农村，教务停顿，房产收归政府管理。1980年，霍回城，市房产局为其在南关外购房4间，恢复了宗教活动，1985年，新教堂建成，有教徒百多人，由神甫霍牧声主持教务。
阜阳为蚌埠教区，设有总分堂，总分堂的神甫先后有：法籍倪兰谭南、马××、意籍劳民望、应国屏、蒋神林、索培伦、麻阿斋，美籍卢××，中国籍杨绍南、郑立仁、张士恩、万达、霍牧声等。
五、基督教
鸦片战争以后基督教传入阜阳。传入的教派有基督教复临安息日会和基督教内地会。1957年，中国基督教会成立三自爱国运动委员会。1958年11月，经内地会和安息日会的执事、长老讨论，决定取消教派名称，改为“阜阳基督教会”，进行联合活动。
基督教内地会清光绪年间，英籍巴牧师和意籍米牧师，来到阜阳，赁房四间，明行医，暗传教，被群众赶走。清光绪二十九年(1903年)，澳大利亚人密尔修由太和来阜阳，赁施凤亭的房屋十余间，开堂传教。以后又由上海派来加拿大牧师弗格思、英国牧师文光斗来阜，接着来的又有美籍柏康斋、罗夫生，加拿大籍的饶忠恕、贾礼荣、贾易荣夫妇，英籍苏曼英等。他们在阜城买地建堂，发展教徒。民国26年(1937年)，成立基督教阜太区联合会，由中国籍教士吴子恒任会长，下辖8个教区，有教徒2800人。他们在今专署街口建立“福音堂”，楼上楼下可容纳千余人，另有平房数十间。新中国成立后，一些帝国主义分子进行破坏活动，被驱逐出境，几个忠实教徒，以传教进行犯罪活动，受到法律制裁，许多人自觉退教，1957年后进行改组。
内地会中的中国圣职人员有：牧师吴子恒、邢晓初，长老何计臣、翟守约、刘金生、袁澄斋、王华五、刘益清。
基督教复临安息日会19世纪产生于美国，清宣统二年(1910年)由河南省周家口传入颍上县，民国3年(1914年)，颍上人乔国君在阜阳大隅首西赁房传教，民国12年(1923年)购置大隅首西边王作斋的房子19间，经皖宁区会牧师吴民生改建礼堂五间，民国32年(1943年)又拆除重建教堂。解放后人民政府拨款维修。1958年因与内地会合并，教堂交给工商业联合会使用。主持阜阳安息日会教务的先后有：郭同轩、王希天、吴二姐、汪洗尘、张得胜、雷显光、丁佛尘、连超凡、刘宝宇、陈希灵(女)、吴白方、孙国英、邵起宣、雷醒亚等。
阜阳安息日会属于皖宁区，民国32年(1943年)区会由南京迁来阜阳。会徒逐渐增多，至解放前夕，有教徒200余人。1950年雷醒亚任本堂传教，河南人赵三美为本堂女传道士(1955年回河南)。雷在传教中触犯刑律，于1955年被关押，教会活动陷于停顿。后经执事会选举，由张启秀协助执事会工作。
阜阳安息日会的组织有：掌执会、安息日会、查经班、布道团、青年团和安息三、安息六聚会。
阜阳基督教三自爱国运动委员会1957年中国基督教会以吴耀宗为首倡议自治、自养、自传的三自爱国运动，阜阳教会积极响应，阜阳城南北两教堂千余名教徒签名联合成立阜阳县基督教三自爱国运动委员会，选出委员23人，张启秀任主任，邢晓初、唐效禹任副主任、唐效禹兼任秘书。当时信徒约300人。1958年邢晓初被划为右派分子，1960年进行改选，主任张启秀，副主任唐效禹、翟守约。1962年12月23日，举行第一次考洗。1963年1月27日举行受洗礼，增加了家庭聚会点。1966年，信徒达到600人。“文化大革命”中，教堂被占用，圣经教材被焚毁。教牧人员被下放劳动，教会活动停止。
1978年以后，落实宗教政策，南北两教堂的房产均收回，政府又拨款修复了礼拜堂。1980年，召开阜阳市第一届信教群众代表会议，选举三自爱委成员，有委员9人，主任张启秀，副主任丁学超。1985年召开第二届代表会，张启秀继任主任委员。
1983年7月10日，基督教堂正式开放，首次礼拜达千余人。至1986年，全市教徒有3100多人。自教堂开放后，各聚会点活动全部停止，每星期日集中教徒做礼拜其它活动也经常进行。