I lavori per la ricostruzione del castello Carlo V iniziarono nel 1539, per ordine dell'imperatore Carlo V, sotto la direzione del noto architetto militare Gian Giacomo dell'Acaja, e si protrassero per circa un decennio. Per consentire la realizzazione del nuovo complesso vennero demoliti il monastero celestino di S. Croce e la cappella della S.S. Trinità, a cui furono intitolati due dei quattro bastioni per preservarne la memoria. Anteriore alla data di costruzione del castello cinquecentesco è il Mastio quadrangolare, la cosiddetta Torre Quadrata, probabilmente angioino (XIV sec.), inglobato nella nuova struttura. La sala sotto il mastio, oggi ipogea, fu poi trasformata nel XVII secolo in una cappella dedicata in origine a Santa Maria di Costantinopoli e poi intitolata a San Francesco de Paola ed arricchita di un altare barocco.

Nel piano superiore si trova invece una grandiosa sala con volte ogivali di raffinata fattura, sostenute da colonne addossate ai quattro angoli. La struttura difensiva, fortemente rimaneggiata nel corso dei secoli successivi (l'ampio fossato fu colmato definitivamente nel 1872), conserva l'originale impianto trapeziodale con bastioni angolari a punte lanceolate e presenta due corpi concentrici, risalenti a epoche differenti, separati da un cortile intermedio.

L'ingresso alla fortezza era garantito da due accessi, l'uno a nord ovest rivolto verso la città (Porta Reale), sormontato dallo stemma lapideo della di Carlo V, l'altro sul fronte opposto verso la campagna (Porta Falsa); sugli altri due lati si appoggiavano le cortine della cinta muraria.

Il castello si articola su più piani: i sotterranei, progettati in funzione di contromine; il piano che si apre sul cortile interno e che forse era destinato agli ambienti di servizio; il piano superiore che ospitava i vani residenziali. All'interno si ricordano per la notevole fattura: il portale cinquecentesco, da cui si accede ad un ampio salone del braccio sud-ovest del corpo centrale, decorato da capitelli scolpiti con il motivo delle "foglie d'acqua"; i raffinati decori della cornice che si affaccia sul cortile centrale, dove si trova pure la facciata principale della cappella di Santa Barbara; le coperture a crociera delle sale interne dei bastioni e soprattutto quello sud, il baluardo di San Giacomo, l'ambiente più grande di tutto il castello, con quattro arconi appoggiati ad un pilastro centrale.