Anders Olsson föddes 1949 i Huddinge. Som student läste han nordiska språk, litteraturhistoria och filosofi och var under sent 1970-tal med och grundade kulturtidskriften Kris, vilken bidrog till en förnyelse av det litterära klimatet under 1980-talet. Han har varit verksam som kritiker sedan slutet av 1970-talet.

Han debuterade som författare 1981 med essäsamlingen Mälden mellan stenarna. Hans första diktsamling kom 1984 och heter Dagar, aska. Däremellan hade han doktorerat med avhandlingen Ekelöfs nej (1983) som lyfter fram grundläggande teman och intertextuella förbindelser i Gunnar Ekelöfs författarskap. Intresset har hållit i sig och senare kom verket Gunnar Ekelöf (1997) och redaktörskapet för Svenska Akademiens utgivning av Ekelöfs samlade dikter 2015.

Av jämförbar betydelse har Gunnar Björlings författarskap varit och Olsson gav 1995 ut den senares skrifter i fem band. Samma år utkom den banbrytande studien Att skriva dagen : Gunnar Björlings poetiska värld i vilken han analyserar Björlings akuta livskänsla och viktigaste poetiska grepp. Året därefter kom essän Ekelunds hunger (1996).om Vilhelm Ekelund, en av Björlings stora föregångare,

En annan diktare som Anders Olsson ägnat stor uppmärksamhet är Erik Johan Stagnelius, märkbar i minnesteckningen om skalden (2011) och i inledningen i Svenska Akademiens utgivning av Stagnelius samlade dikter samma år, samt i essäer som Vad är en suck? (2013) och ”Drömmen om frihet hos Stagnelius” (2023). 

År 2004 utnämndes Anders Olsson till professor i litteraturvetenskap vid Stockholms universitet och han hade då publicerat sin stort anlagda studie om Guds död och den poetiska nihilismen i den moderna litteraturen Läsningar av Intet (2000). Där tecknar han nihilismens två ansikten från romantiken framåt, å ena sidan skräcken för varats grundlöshet, å andra sidan mystikens renässans i Intets tecken där Mäster Eckhart blir ett centralt namn. Den filosofiska bakgrunden hos Schopenhauer och Nietzsche behandlas, följt av en rad läsningar, från Baudelaire till Birgitta Trotzig.

I Skillnadens konst (2006) tecknas en annan linje i modern litteratur, det litterära fragmentets tradition från tysk romantik till samtida svenskspråkig poesi, bland annat hos Katarina Frostenson och Ann Jäderlund.

Ett tredje ämne som länge varit av centralt intresse i Olssons forskning är exildiktningen. Ordens asyl (2011) är en inträngande studie i landsflyktens roll för den moderna litteraturen, med perspektiv bakåt till antiken. Några författare som behandlas är Ovidius, James Joyce, Samuel Beckett och W.G. Sebald. Dit hör också Nelly Sachs och Paul Celan, som Olsson återkommit till i skilda sammanhang. År 2020 kom Olssons översättning till svenska av hela Celans sena verk, Det sena verket, från och med samlingen Andningsvändning till Tidsgård.

I tre längre essäer har Olsson återkommit till frågan om läsningens konst. Först i Den okända texten (1987), som introducerar kontinentala tolkningstraditioner, sedan i Den andra födan (1992; med Daniel Birnbaum) och senast i Tankar om läsning (2015). Där reflekterar han kring läsandets villkor och den roll tid, rum och minne spelar i sammanhanget, bland annat utifrån Marcel Proust.

Men ögonblicken finns, de utvidgade och avlyssnade ögonblicken, sorgsna och extatiska.

Anders Olsson har gett ut sju diktsamlingar, senast men så oändligt lätt att svara dig (2010). De har en omisskännligt egen ton – lågmälda, intensiva och kretsande kring en existentiell problematik som återkommer från samling till samling. Allt är statt i rörelse och förändring. Men ögonblicken finns, de utvidgade och avlyssnade ögonblicken, sorgsna och extatiska.

Under en lång period har Anders Olsson verkat som förmedlare av svenskspråkig lyrik för en tyskspråkig publik, med presentationer på förlaget Kleinheinrich av diktare som Stagnelius, Gunnar Ekelöf, Edith Södergran och Gunnar Björling. 

År 2008 valdes han in i Svenska Akademien som efterträdare till författaren Lars Forssell. Han var ständig sekreterare 1 juni 2018 till 31 maj 2019. Från den 1 juni 2019 har han varit ordförande i Nobelkommittén.

År 2022 tilldelades Anders Olsson H.M. Konungens medalj i 12:e storleken i Serafimerordens band för förtjänstfulla insatser inom svenskt akademiväsende.