Secondo le ricerche più recenti, la nascita di Guido, per lungo tempo genericamente indicata nel primo decennio del X° secolo, sarebbe più precisamente da situare tra il 991 e il 992. Il calcolo è basato sulla datazione della sua opera Micrologus tra il 1025 e il 1026, e su una lettera in cui Guido stesso afferma di averlo scritto all'età di 34 anni.

Sul suo luogo di nascita regna invece l'incertezza. Secondo alcuni sarebbe nato addirittura in Francia, ma le ipotesi più attendibili si restringono a due località: Arezzo (o più precisamente Talla, borgo situato una ventina di chilometri a nord della città) e Ravenna (o forse la vicina Pomposa). Non a caso, oltre che come Guido d'Arezzo, è spesso citato anche come Guido Pomposiano, e anche, con equanime prudenza, come Guido Monaco.

Proprio nel monastero benedettino di Pomposa (e questa è la prima notizia certa che si ha a proposito della sua vita) si fece monaco all'età di 22 anni, e qui si formò sotto la direzione dell'abate Guido di Ravenna, che gli affidò l'insegnamento della musica nell'abbazia, Nello svolgimento di questo incarico non tardò ad accorgersi delle difficoltà che i monaci incontravano nell'apprendimento e nella memorizzazione. Per risolvere questo problema adottò un metodo d'insegnamento rivoluzionario, che lo rese presto famoso in tutta l'Italia settentrionale. L'adozione sistematica del tetragramma (predecessore dell'attuale pentagramma) e della notazione quadrata fanno di Guido l'ideatore della moderna tecnica di notazione musicale.

Come spesso accade agli innovatori, anche Guido si trovò ad affrontare la diffidenza e l'invidia dei suoi stessi confratelli. Osteggiato ormai anche dal suo mentore, l'abate Guido da Ravenna, si dice che abbia trascorso alcuni anni passando di abbazia in abbazia, avvicinandosi all'Ordine Camaldolese di san Romualdo, e trovando finalmente una sistemazione fissa ad Arezzo dove esisteva una fiorente scuola di canto, e dove il vescovo Teodaldo (zio di Matilde di Canossa) lo prese sotto la sua protezione. A lui Guido dedicò la sua opera teorica più importante, quel Micrologus di cui abbiamo già parlato e che fu il testo musicale più diffuso del Medio Evo.

Oltre ad essere un teorico della musica, Guido era tuttavia principalmente un insegnante, e sentiva fortemente la necessità di fornire un ausilio pratico ai monaci nello studio della musica. Perfezionò dunque un sistema mnemomeccanico (la cosiddetta mano guidoniana perché basata sulle falangi delle dita di una mano) destinato a facilitare lo studio di quella che allora si chiamava solmisazione, dalla quale si è sviluppato il moderno solfeggio.

L'altro, e più conosciuto, dei suoi stratagemmi educativi fu quello di associare alle corrispondenti note le sillabe iniziali dei primi sette versi dell'inno a san Giovanni Battista di Paolo Diacono: ut, re, mi, fa, sol, la, e più tardi anche la S e la I di Sancte Iohannes, legando quindi per sempre il suo nome a quello delle note musicali.

La sua fama raggiunse presto anche Roma, dove soggiornò lungamente intorno al 1030 su invito di papa Giovanni XIX. La salute cagionevole e il desiderio di raccoglimento lo spinsero tuttavia a tornare ad Arezzo. In seguito, pur proseguendo nella sua opera di studioso e insegnante, preferì abbandonare anche la città per tornare alla pace del chiostro.

Fu (secondo alcuni testi addirittura come abate) a Fonte Avellana, importante monastero camaldolese, negli anni in cui si fece monaco Pier Damiani, di cui divenne amico. In seguito trascorse un periodo tra le mura dell'eremo di Camaldoli, per poi tornare al suo primo monastero di Pomposa, dove chiamò Pier Damiani, affidandogli la mansione di maestro dei monaci e dei novizi.

Anche la data della sua morte ci è ignota, sicuramente dopo il 1045 e non oltre il 1050, e molto probabilmente proprio a Pomposa. Secondo alcune cronache, sulla cui attendibilità esistono molti dubbi, sarebbe stato beatificato immediatamente dopo la morte, ma nessun martirologio fa menzione di questo fatto.

La Chiesa Cattolica ha comunque fissato la sua commemorazione al 7 settembre.