L'imperatore Carlo V d'Asburgo nel 1539 diede ordine di costruire una nuova fortezza militare a Gian Giacomo Dell'Acaya, ingegnere generale del Regno di Napoli.
Nel 1872 venne colmato il fossato che lo circondava ed eliminati i ponti elevatori delle due porte: "Porta Reale" (o prima porta) e "Porta Falsa” (o di Soccorso), sul lato posteriore, che è quello più sviluppato ed il più fortificato, per contrastare i pericolosi attacchi che provenivano dal mare Adriatico.
Per far posto all’imponente mole del castello fu demolito il Convento dei Celestini con l'annessa Chiesa di Santa Croce, in seguito riedificati in via Umberto I, e l'elegante reggia di cui rimane qualche traccia, inglobata nel corpo di fabbrica centrale: il Mastio a Nord-Est, la torre collocata a sinistra nel cortile a la "Torre mozza" posta a Sud-Ovest.
Il castello non ebbe solo funzioni difensive; per esempio, nel XVIII secolo una delle sale fu adibita a teatro.
Dal 1870 al 1979 il Castello fu caserma e distretto militare. Oggi sede dell'Assessorato alla Cultura. Il primo piano del castello, è utilizzato per collocarvi eventi e iniziative culturali.
Recenti indagini archeologiche fa risalire il maniero al XIII secolo e inizi del XIV secolo cioè tra l'età sveva e quella Angioina.
L'edificio difensivo è quadrangolare con ai quattro angoli altrettanti "bastioni: il bastione detto di S. Croce, quello di S. Martino, S. Giacomo e S. Trinità. La forma ricalca quella tipica delle fortificazioni con baluardi agli angoli con un muro rettilineo fra i due bastioni. Il castello si trova lungo una via di comunicazione molto importante sin dal periodo romano e poi medievale, da qui infatti si poteva giungere al Porto di San Cataldo, il porto di Lecce. Sulle due porte del castello vi era lo Stemma imperiale asburgico. L'edificio era completamente circondato da un fossato. Una leggenda narra che gli Orsini Del Balzo nel corso del Trecento tenessero nel fossato un orso bianco, sia come "status symbol" che per scoraggiare eventuali intrusioni; Il castello era ben munito di pezzi di artiglieria a più livelli. Sono ancora visibili i punti dove venivano collocati i cannoni.
