Il castello di Borgagne, denominato castello Petraroli In origine si ergeva ai margini del piccolo centro abitato, in direzione est, ed aveva lo scopo difensivo contro i pericoli provenienti dalla direzione del mare. Il complesso presenta una pianta rettangolare che, in corrispondenza dello spigolo nord-est, ingloba parzialmente una torre innalzata nel 1498. A quel tempo l’abitato era privo di qualsiasi strumento di difesa, l'opera di fortificazione intrapresa dal Petraroli, al massimo poteva effettuare un'azione di avvistamento preventivo, per cui si proseguì a breve tempo con la costruzione del castello la cui presenza fu, nel 1531, registrata dal commissario regio incaricato di procedere alla stima dei beni feudali di cui il Petraroli fu spogliato per aver aderito alla congiura antispagnola ordita dal baronaggio napoletano nel 1527/28. I Petraroli, riuscirono successivamente a rientrare nelle grazie dei sovrani e a riottenere il possesso dei feudi perduti; nel 1601, il feudo fu venduto al leccese Vincenzo Maria Zimara con tutti i beni feudali, tra i quali il castello. Quindici anni dopo, il feudo di Borgagne passò al genovese Giovan Battista Spinola.
Il castello si sviluppa a pianta quadrata con cortile centrale, ed ha subito interventi, riutilizzato attualmente anche ad abitazione privata. Un tempo vi erano anche piombatoi, feritoie e un fossato, in seguito, diverse opere di ristrutturazione alterarono alcune parti dell'edificio in maniera irrimediabile. Pertinente al castello è la piccola cappella della Madonna del Rosario.
