L'ensemble est ceint d'une fortification ovale, dont l'intérieur est comblé au XVe siècle. La tour était accessible par une poterne surplombant le premier niveau, voûté en coupole ; une rampe menait alors au deuxième niveau, également voûté par une coupole sur trompes. L'accès au troisième niveau, qui conserve son chemin de ronde crénelé, se faisait au moyen d'un escalier réservé dans les 4 mètres d'épaisseur du mur.
Dès le XIIe siècle, cette tour sert de prison et d'arsenal. Dans la seconde moitié du XIIIe siècle, avec le déclin du pouvoir comtal, elle est utilisée comme prison. Sa position défensive est renforcée au XVe siècle par les Anglais. Les toitures sont ajoutées au XVIe siècle. Depuis 1693, la tour abrite les cloches de la collégiale Saint-Quiriace.
De 1875 à 1979, la salle basse accueille le réservoir d'eau de la ville haute. Depuis 1981, la tour porte à son sommet le dragon, emblème de la ville haute, celui de la ville basse étant la lézarde.