Le scarse notizie che abbiamo sulla vita di Erasmo sono in gran parte riconducibili ad una passio risalente al VI secolo nella quale si racconta che Erasmo fu vescovo di Antiochia. Quando iniziarono le persecuzioni contro i cristiani, si rifugiò per sette anni in una caverna, e una volta scoperto, fu incarcerato per non aver voluto sacrificare agli idoli pagani.

Liberato per intervento miracoloso, negli anni successivi convertì non meno di quattrocentomila persone e compì numerosi miracoli. Sottoposto di nuovo a persecuzioni e torture, venne infine condotto dall'arcangelo Michele a Formia, dove morì dopo sette giorni.

Questa passio, attribuita erroneamente a Papa Gelasio II, è largamente leggendaria, ma altre fonti più degne di fede, come il Martirologio Geronimiano, attestano la presenza a Formia di un vescovo di nome Erasmo intorno all'anno 300. Siamo all'epoca di Diocleziano, ed è quindi lecito presumere che anche Erasmo sia alla fine caduto vittima della cosiddetta "grande persecuzione". Secondo alcune tradizioni, sarebbe stato flagellato e, in seguito al suo rifiuto di adorare gli dei romani, messo al rogo.

In ogni caso il suo culto, soprattutto tra Lazio e Campania, era già molto vivo alla fine del VI secolo, tanto che fu annoverato tra i cosiddetti Santi Ausiliatori, venerato come patrono dai marinai, e in questa veste spesso raffigurato con un argano che, nella credulità popolare fu ritenuto strumento di martirio.

Nacque così la leggenda (non confermata da nessuna fonte agiografica, ma rappresentata nel nostro santino) che Erasmo, tra le tante torture, fosse anche stato eviscerato con un argano, e per questa ragione continua ad essere invocato come protettore contro le malattie intestinali.

Erasmo è anche conosciuto come Elmo, ipocoristico per contrazione originatosi probabilmente nel tardo medioevo, ed è a questo nome che si ricollega il cosiddetto fuoco di Sant'Elmo: una scarica elettro-luminescente provocata dalla ionizzazione dell'aria durante i temporali, la cui comparsa in testa all'albero maestro durante un fortunale è considerata dai marinai devoti al santo di buon auspicio.

Una leggenda narra infatti che, quando Erasmo-Elmo venne arso vivo, sulla sommità del palo che reggeva la pira si vide comparire una fiamma azzurrognola, che i presenti ritennero essere l'anima del santo che saliva al cielo.

Patrono della città di Formia, della quale fu vescovo, e di quella di Gaeta, dove le sue spoglie furono nascoste per sottrarle ai saccheggi saraceni, la sua commemorazione era fissata già dal Martirologio Geronimiano al 2 di giugno.