L'importante bâtisse du XVIème siècle fut radicalement modifiée dans la seconde moitié du XVIIIème siècle avec un aménagement des jardins et des terrasses. En 1793, les cinq tours à la hauteur du corps des logis sont rasées, le château prend alors la forme définitive d'une villa italienne.
Aujourdh'ui, le château de Fumel est devenu bibliothèque municipale et Mairie.
Visite libre des terrasses toute l'année. Ouverture de 8h à 20h.