En 1071, pendant le siège de Bari, Robert le Guiscard était désireux de construire une tour en pierre de garde pour protéger l'ancien port. Une tour qui, vers le 1359, commençait à montrer des signes de descendance vers l'église, probablement dédiée à « Saint Nicolas au port» et rappelée dans certains documents de 1178 et 1226. De cette église, mais aussi d'une chapelle dédiée à Saint Antoine Abbé, les restes ont été trouvés (un mur de la nef avec une coupole centrale, absides, sol et entrée) intégrés dans les murs du Fort pendant les nombreuses restaurations.
En 1440, après une série d'interventions pour la consolidation, un seigneur féodal local, Caldora, construit dans le même esprit une tour « comme un petit château » qui, comme tous les signes du pouvoir, n'a été jamais voulu des personnalités de Bari et une trentaine d'années plus tard, on a assisté à la décomposition de ses fondations à cause du vandalisme.
C'est Isabelle d'Aragon qui, au cours de sa campagne de restauration et d'embellissement de la vieille ville, entre 1501 et 1524, a prévu la rénovation de la tour et de son aspect d'origine : la tour est présente dans le cadre de la jetée embellie d'une colonne d'origine romaine, achetée auprès de l'église de Saint Grégoire. Aujourd'hui, la colonne est placée avec d’autres, au pied de la première partie de la paroi, en venant de la Place Ferrarese.
D'autres travaux de restauration étaient réalisés par l'Université de Bari en 1548, avec pour but de donner, entre 1560 et 1578, un aspect fortifié semblable à celui actuel. Après d'autres vicissitudes pendant le règne de Charles III de Bourbon, en 1847, la tour a été reprise par le maire de Bari, et ensuite partie en ruine.
Entre 1994 et 2000 la municipalité qui en est le propriétaire et l’administrateur du patrimoine culturel ont lancé une campagne de restauration sous la direction de l'Architect Cusatelli pour redonner dignité et valeur à la structure et la renvoyer, avec d’autres usages, à ses baresi.