Le seigneur de Pons, Geoffroy III, fait reconstruire dans la foulée un nouveau donjon entre 1180 et 1185 : cette imposante construction, semblable à un imprenable massif de pierre rectangulaire, domine toujours le centre ville du haut de ses 30 mètres. Structure défensive austère, le donjon s'est vu adjoindre début XXe les créneaux et mâchicoulis qui ornent son sommet.
L'accès au donjon est libre. A partir du donjon, qui abrite l'office de tourisme, on peut partir à la découverte de la vieille ville en empruntant le chemin des remparts, puis, au fil de ruelles sinueuses on atteint l'église Saint-Vivien et son style saintongeais du XIIe, maintes fois remaniées.