Une légende est liée au château. Du temps des Croisades, tous les hommes seraient partis guerroyer, sauf le seigneur de Castelbouc. La légende raconte qu'il aurait dû contenter toutes les femmes du village, en manque d'homme, et qu'il en serait mort d'épuisement. Le soir venu, son fantôme en forme de bouc aurait survolé le château, donnant son nom au lieu.
Le Château de Castelbouc est aujourd'hui, complètement en ruine. Il date de l'époque médiévale du XIIe siècle et appartenait à Etienne de Castelbouc, chevalier au service du Seigneur Elie de Montbrun. Ce dernier était Commandeur des Templiers du Larzac.
Au XVIe siècle, les Etats Particuliers du Gévaudan ordonnent la destruction de nombreux châteaux en province. Celui de Castelbouc sera détruit en 1592, pendant les guerres de religion, afin qu'il ne serve pas de refuge aux protestants.