杨徽之，字仲猷，福建浦城人，五代后梁龙德元年(921年)生。自幼刻苦勤学。当时，同邑前辈江为、江文蔚是江南诗赋名家，杨徽之事以师礼，久后，便与之齐名并著。
20多岁时，杨徽之就学于浔阳庐山学舍。后潜行绕道，赴中原后周王朝应举。翰林学士窦仪和枢密直学士王朴等见其文章，都叹为奇才。后周显德二年(955年)，杨徽之登进士甲科，被礼部擢置“殊等”16名内上奏。周世宗柴荣命近臣复核，只有杨徽之等4人中选，授予秘书省校书郎、集贤秘阁校理，后升著作佐郎、右拾遗。深受宰相范质器重，学士窦俨推荐其-礼乐书。
宋太祖赵匡胤禅代登位之初，知杨徽之于前朝曾讥议他，将欲加害，因其弟赵光义(太宗)力保而得免，贬出为唐州方城监税。复因建言得罪，再贬为陕西凤翔府天兴县令。府帅素知其名，予以礼遇。平定后蜀之后，调任嘉州峨嵋县令。杨徽之常与玉津令宋白吟咏唱酬，他们的许多诗词，广被传诵，文教为之振兴。杨徽之两任县职，清廉自守。开宝二年(969年)，复职为著作佐郎，掌管盐谷数年。大臣薛居正曾向太祖荐杨徽之可为相，不见用。乃出知全州(今属广西)。
太平兴国元年(976年)，宋太宗赵光义继位，召杨徽之为左拾遗，回朝又升右补阙。太宗好诗，久慕杨徽之诗名，见面索要其平生所作，因献数百篇及谢诗以进，其末章有：“十年流落今何幸，叨遇君王问姓名”等句。太宗特选其十联警句，亲书于御屏风上。杨徽之又献《雍熙词》10篇，太宗为和韵酬答，每有御制诗，也都赐赠给杨徽之。杨徽之有病，即遣太医往视。旋迁御史、库部员外郎、判刑部南曹、同知差遣院等职，赐予金章紫绶。又奉诏与李昉等汇编前代文章，成《文苑英华》1000卷，是为宋代四大类书之一。杨徽之还受命编诗180卷(一作200卷)。后历迁刑、兵二部郎中，并同知京朝官的考课。端拱元年(988年)，拜为左谏议大夫，旋出知许州(今河南许昌)二载，入朝判史馆事。太宗召见，特加史馆修撰，兼判昭文馆、集贤院。任职期间，杨徽之建议于太学增加通经术、有专长者为博士，分教皇家及权贵子弟。太宗有意委其以大任，因受反对者诬谤，贬出为山南东道行军司马，又改调为镇安军行军司马。不久，太子赵恒受命为开封府尹，特召杨徽之为左谏议大夫、开封府判官(一说为推官)。嗣后，兼任太子左庶子，进给事中。
宋真宗赵恒即位后，即拜杨徽之为工部侍郎、枢密直学士。咸平元年(998年)，转为礼部侍郎，仍兼学士。旋称病，求解除近职，改授兵部侍郎兼秘书监。真宗欲多起用耆德老成的学者为自己讲学，乃特设置翰林侍读侍讲学士之职，命杨徽之为侍讲学士，仍兼秘书监，同时受命的还有夏侯矫等4人。杨徽之利用侍讲机会，多向皇帝纵论天下利弊。不久，称脚病告老。真宗特取名药赐予疗治。值郊礼大典，杨徽之虽不能扈从，但仍受加封赏赐。
次年，真宗北巡，杨徽之入宫辞送，真宗对其温慰恳挚；北巡途中，还手诏存问。咸平三年(1000年)正月，真宗还都，特派人慰谕，当日，杨徽之疾笃去世。诏赠兵部尚书，赐钱50万，绢500匹，官给营葬。杨徽之无子，因录用其女婿、外孙、侄孙等官职。后来，夫人王氏卒，朝廷同样优厚赐葬。景祐二年(1035年)，追崇先帝旧臣，升赠杨徽之为太子少师，赐谥“文庄”。
《宋史》称：“徽之纯厚清介，守规矩，尚名教。尤嫉非道以干进者。善谈论，多识典故，唐室以来，士族人物悉能详记。酷好吟咏，每对客论诗，终日忘倦。”
杨徽之有诗文集20卷传世。宋僧文宝曾高度赞美其诗，称：“当以天地皓露涤笔于金瓯雪碗中，方与此诗神骨相投。”