Il fut pris sans coup férir par le Duc Conan IV avec une troupe anglaise en 1156 et par Henri II d'Angleterre en 1168.
Une nouvelle forteresse fut construite peu après à l'ouest de la ville, sur le sommet d'un promontoire élevé qui descend à pic vers le Nord, l'Ouest et le Sud, et d'où l'on jouit d'une vue extrêmement étendue : ce promontoire pourrait avoir servi de castellum romain. Le château fut réparé par le duc Jean II (1286 à 1305), puis en 1307, en 1399 et de 1443 à 1450. Les Français s'en emparèrent sans résistance en 1488 après leur victoire de Saint Aubin du Cormier. Mercoeur s'en rendit maître en 1597, et Henri IV le fit démolir l'année suivante. La base de sa vaste enceinte et les ruines de son donjon massif sont les seuls restes actuels de cette importante place forte.