“Símbolo oscuro de un poder enrocado y fuera de la cotidianidad, nunca fue el castillo de los bareses que se sentían amenazados, más que protegidos” (Stefania Mola).
El castillo normando-suevo se levanta entre el Corso Antonio De Tullio y la Piazza Federico II di Svevia, en los márgenes de la ciudad vieja. Su imponente muralla dotada de grandes bastiones está rodeada por un fosado muy profundo en tres lados del castillo (excluido el lado del norte antes bañado por el mar). El castillo está flanqueado por los jardines de Isabel de Aragón, duquesa de Bari entre 1501 y 1524. Gracias al encanto que las duquesas de Bari, Isabel de Aragón y Bona Sforza, aportaron en sus reinados, se consiguió atenuar las hostilidades que los ciudadanos sentían hacia este signo del poder imperial. En 1131 se sitúa la creación del primer núcleo fortificado, por voluntad de Roger II, pero su planta actual es el resultado de renovaciones y aportaciones de distintas épocas: normanda, sueva, angevina y aragonesa. Através de un puente puesto en la parte sur del fosado y después de cruzar la puerta de entrada decorada con el blasón de los Borbones, últimos dueños del castillo (siglo XVIII-XIX), se accede al patio y al núcleo originario de la época medieval. El castillo medieval está dotado de torres en las cuatro esquinas, cuyos nombres se refieren a acontecimientos históricos : la “Torre dei Minorenni” (sur-oeste) fue una cárcel juvenil de 1832 a 1931, llamada también “Viscontina” por las obras realizadas por Gaspare Visconti por encargo de la familia Sforza; la “Torre del Semaforo” o “Torre della Marina” (sur-este), utilizada por la Marina para instalar un semáforo en el tejado; la “Torre del Monaco” o “Torre di S. Francesco” (noroeste) que se piensa fue el lugar donde S. Francisco fue acogido en la época de Federico II; la “Torre del Vento” (noreste).
Cerca de la Torre dei Minorenni, en la parte oeste, se encuentra una elegante portada con arco ogival, construida por Federico II que evoca el poder imperial en la decoración de la arquivolta y sobretodo en la representación de un águila con una presa en sus garras.
El portal conduce a un vestíbulo, con altas bóvedas de arista que descansan en columnas y pilastras adornadas por capiteles con follaje, que se extiende en una logia asomada al patio central de estilo renascentista, enriquecida por una escalera con doble rampa de época aragonesa. La rampa de izquierda remplazó a aquella que existió en la época medieval, y la rampa de la derecha fue construida para permitir la entrada a caballo. Después de haber sido utilizado como cárcel y cuartel en siglo XIX, el castillo es hoy sede de algunos despachos de la “Soprintendenza per i Beni Architettonici e per il Paesaggio” (Superintendencia Italiana de Bienes Arquitectónicos y Paisajísticos) y acoge una “Gispoteca” repartida en dos salas desde el lado oeste hasta la planta baja: aquí se recogen calcos en yeso de elementos de esculturas extrapolados por la mayoría de edificios religiosos y civiles de Apulia entre los siglos XI y XVII. Las demás salas de la planta superior acogen exposiciones temporales y una colección de cerámicas y mayólica del siglo XVI-XVII halladas en la cercanía. Desde la zona norte del patio se accede a un recorrido subtérraneo donde están visibles los cimientos de viviendas pavimentadas con servicios e instalaciones de fabricación de la época bizantina que servían para labrar el hierro y objetos de hueso. Se encuentra también una iglesia de mitad del siglo X, tal vez dedicada al culto de San Apolinar.