Au XVIIème siècle, divers éléments défensifs liés à l'enceinte sont supprimés. A leur emplacement un grand jardin en terrasse avec balustrade domine la vallée de la Charente. Le château devient, pendant la révolution, bien national avant d'être vendu à un paysan. Son état se dégrade progressivement jusqu'au milieu du XXème siècle où il finit par tomber en ruine.
Une remarquable restauration conduite depuis les années 1970 permet aujourd'hui de le retrouver dans l'état antérieur à l'abandon. Au nord, en bordure du fossé, la première enceinte marqué par de multiples retouches, montre encore un pan du donjon roman de Bayers. La cour de la vallée, le logis et la tour forment à l'inverse un ensemble uni, isolé de toute construction.