Dalle ricerche di Nicola Montesano sappiamo che il nucleo fortificato di Palazzo fu oggetto di azioni di ampliamento da parte di Federico II e di completamento da parte di Manfredi