Cité pour la première fois en 935, le château de Brousse n'est sans doute alors qu'un modeste fortin surveillant le Tarn. Du Xe au XVe siècle, le fort occupe progressivement la totalité de l'éperon dominant le village en même temps que s'affirme la présence des comtes du Rouergue puis, à partir de 1204, de la famille d'Arpajon, dont un représentant deviendra duc et pair de France au XVIIe siècle. Restauré à partir de 1963 par une association de bénévoles, la Vallée de l'Amitié, l'ensemble fortifié est aujourd'hui ouvert au public. Sa cour intérieure est lieu de spectacles saisonniers ; le logis seigneurial remanié au XVIIIe siècle, les tours du Prisonnier et de la Princesse accueillent un musée d'histoire locale ainsi que des expositions temporaires. Du château, des ruelles dallées conduisent vers l'église fortifiée du XVe siècle, dédiée à Saint Jacques le Majeur et flanquée d'un cimetière avec oratoire, puis par le vieux pont de pierre sur l'Alrance à la rue basse du village. Accrochées aux versants de l'Alrance et du Tarn, les terrasses en escaliers témoignent de la présence jadis, de la vigne dont la culture fut longtemps, avec celle du châtaignier, la ressource principale de Brousse le Château.
Le chateau dominant ce trés beau village est une illustration parfaite de l'architecture militaire médiévale.Il a conservé son enceinte fortifiée ainsi qu'une grande partie de son chemin de ronde. L'enceinte, flanquée de six tours, protégeait le château d'éventuelles attaques.
