L’edificio più antico di Brindisi Montagna all’origine doveva costituire, più che una struttura militare, un presidio del territorio per funzioni civili, sociali ed economico-produttive. Successivamente, il Castello Fittipaldi-Antinori divenne anche dimora dei feudatari succedutisi nella proprietà, tra i quali i Sanseverino, i D’Erario, gli Antinori, i Battaglia ed infine i Fittipaldi, che lo donarono al Comune all’inizio del 1900. Al di là delle incerte ipotesi, la costruzione del Castello si fa risalire, dalla bibliografia prevalente, a un periodo coevo all’insediamento normanno nell’Italia meridionale. Infatti, la presenza del Castello Fittipaldi-Antinori e della relativa comunità è già documentata dall’Atto di Federico II di Svevia circa la manutenzione dei Castelli Regi eretti dai normanni.
Dagli Statuta Officiorum emanati da Federico II, sappiamo che il castrum Brundesii de Montana rientrava in quell'elenco di ventinove castelli demaniali (opere militari e di difesa) e domus imperialibus solaciis (destinate ai soggiorni di svago del sovrano), facenti parte del Giustizierato della Basilicata alla cui manutenzione dovevano provvedere, in maniera sistematica, gli abitanti delle Università vicine.
Per il Castrum di Brundisii de Montana è stabilito che tale compito spettasse anche agli uomini di Trivigno, Pietrapertosa, Trisocii (o Trifoggio, antica località nei pressi di Castelmezzano e Pietrapertosa), Castelmezzano, Castel Selecti (o Castel Bellotto tra Pietrapertosa e Laurenzana), Campomaggiore, Trivigno, Laurieseli (o Laurosielo, casale scomparso presso Cancellara), Accettura, Rodie (o Rodio nei pressi di Accettura), Gallipoli Cognato, Garaguso e Oliveto.
Dopo la caduta degli Svevi, Re Carlo d’Angiò, per i servigi resi, investì Guidone de Forest nel 1268 del feudo di Brindisi col titolo di primus dominus Brundusii de Montanea et Ansiae (1268). La recente ristrutturazione vuole ridare vita all’antico Castello Fittipaldi-Antinori, che Andrea Pisani così descriveva nel suo libro: “Ora ha le occhiaie vuote nel gran teschio, l’occipite corroso e in qualche parte infranto; lo direi tragicamente muto e tetro, se nei pleniluni lo squittire petulante della civetta e il lamentevole fischio dell’assiolo non avessero per i suoi fantasmi un richiamo tra il grottesco e il beffardo”.
