Ildefonso, nipote di sant'Eugenio III, arcivescovo di Toledo, secondo le antiche cronache sarebbe nato verso l'anno 607 in una famiglia germanica assai potente sotto i Romani ed altrettanto con i Visigoti.

Studiò a Siviglia e, avendo per maestro sant'Isidoro, ricevette una brillante formazione letteraria. Secondo la sua stessa testimonianza fu ordinato diacono (circa 632-633) da Eladio, arcivescovo di Toledo ed entrò nel locale monastero d'Agalai presso il Tago. Ildefonso era molto affezionato a questo cenobio, come egli stesso ricorda nei suoi scritti. Quando era già nell'eremo fondò un convento di religiose dotandolo con i beni che aveva ereditato.

Nel 657, eletto arcivescovo di Toledo, fu obbligato ad occupare la sede dal re Recesvinto. Nella corrispondenza intrattenuta con Quirico, vescovo di Barcellona, egli si lamentava delle difficoltà dei suoi tempi.

La notte del 18 dicembre 665 Ildefonso, insieme con i suoi chierici e alcuni altri, andò in chiesa per cantare inni in onore della Vergine Maria. Trovarono la cappella che brillava di una luce tanto abbagliante che provarono timore. Tutti fuggirono, tranne Ildefonso e due suoi diaconi. Questi entrarono e si avvicinarono all'altare. Davanti a loro si trovava la Madonna, seduta sulla cattedra del vescovo, circondata da una compagnia di vergini che intonavano canti celestiali. Maria fece un cenno con il capo perché si avvicinassero. Dopo che ebbero obbedito, la Vergine fissò i suoi occhi su di lui e disse: "Tu sei il mio cappellano e notaio fedele. Ricevi questa casula (veste sacerdotale N.d.R) che mio Figlio ti manda dalla sua tesoreria." Pronunciate queste parole, la Vergine stessa lo investì, dicendogli di usarla, in suo onore, solamente nei giorni festivi.

Questa apparizione e la casula furono considerate prove così chiare che il concilio di Toledo ordinò un giorno di festa speciale per perpetuare la sua memoria. L'evento appare documentato nell'Acta Sanctorum come "La Discesa della Santissima Vergine e la sua Apparizione". L'importanza che acquisisce questo fatto miracoloso, occorso nella Spagna gotica e trasmesso ininterrottamente lungo i secoli, è stata molto grande per Toledo e per la sua cattedrale.

Gli arabi, durante la dominazione musulmana, quando la basilica cristiana fu convertita in moschea, rispettarono scrupolosamente questo luogo e la pietra che vi si trova, in quanto lo consideravano un luogo sacro in relazione con la Vergine Maria che è venerata nel Corano. Questa circostanza permette di affermare che il miracolo era conosciuto prima dell'invasione musulmana e che non si tratta di una delle molte devozioni della pietà medievale, che scaturirono dalla religiosità popolare.
Nella cattedrale i pellegrini possono ancora venerare la pietra sulla quale la Santissima pose i piedi quando apparve ad Ildefonso.

Egli morì nel 667 e sue spoglie furono tumulate nella chiesa di santa Leocadia di Toledo. Durante l'invasione araba furono trasferite a Zamora, in Castiglia, ove i fedeli "lo proclamarono a gran voce santo", collegando sempre il suo nome a quello della Madonna.

Dopo mille anni sarà ancora così, grazie ai dipinti dei maestri del "siglo de oro" dell'arte spagnola: El Greco, Murillo, Velázquez, Zurbarán e altri grandi artisti di tutta Europa che continueranno a raffigurare il vescovo di Toledo accanto alla Madre di Gesù. Come anche Guido Reni, nello stesso periodo, con l'affresco conservato nella basilica di Santa Maria Maggiore in Roma. La grande arte rifletteva così gli stati d'animo popolari espressi nel culto spontaneamente tributato a Ildefonso dai fedeli e dal suo successore e biografo, Giuliano.

Ildefonso è patrono della città di Toledo e di Herreruela de Oropesa, nella stessa provincia, dove le sue feste si celebrano ogni anno con particolare fervore.

La sua festa si celebra il 23 gennaio.