Nel 1329 Roberto il Saggio ordinò la costruzione di un palazzo sulla collina del Vomero, nel sito dell'antica chiesa di S.Erasmo e di una torre normanna detta Belforte.
I lavori, inizialmente diretti dagli architetti Francesco de Vito e Tino di Camaino, furono completati nel 1343.
Nel 1348 il castello fu assediato da Luigi I d'Ungheria che aveva attaccato Napoli per vendicare la morte del fratello Andrea, marito della regina Giovanna I, ucciso probabilmente per ordine della moglie.
Successivamente il castello fu occupato da Carlo di Durazzo e, nel 1416, venduto a Alfonso d'Aragona.
Attualmente l'edificio ha la configurazione di stella a sei punte creata con la ricostruzione negli anni 1537 - 1547 voluta dal vicerè soagnolo Don Pedro de Toledo, su progetto di Pedro Luis Escrivà.
Il nome S. Elmo deriva per progressiva corruzione da S. Erasmo.

Il castello ospita permanentemente il Museo Napoli Novecento 1910-1980 oltre a mostre temporanee e altre manifistazioni.