Classé Monument Historique, le château de Brassac est une imposante forteresse militaire construite et modifiée par étapes successives du 12ème au 16ème siècle.
Le château est de nos jours une imposante demeure reconstruite aux XVe et XVIe siècles, dont les extérieurs sont visitables.
Edifié sur les hauteurs de la commune, ce château fort appartenait au Comte de Toulouse, Raymond V, fin 12e siècle. Il fut reconstruit à plusieurs reprises, puis en grande partie détruit pendant la Révolution, hormis le soubassement, avec les salles superposées, et l'escalier voûté. Le logis date de fin 15e, les dépendances furent construites au 17e, et les voûtes des salles du 2e étage, datent du 19e. L'ensemble comprend le château, l'enceinte, un fossé, un puits et des communes, l'édifice est construit en pierre et pierre de taille, sur un plan symétrique, avec un sous sol et un étage carré, avec une voûte en berceau plein cintre, croupe, toit polygonal et toit à l'impérial, avec toiture d'ardoise.