Les premières données historiques le concernant remontent au début du XIIème siècle. A cette époque et jusqu' à la Révolution française, les puissants archevêques de Narbonne sont les seigneurs du château et du village. Cependant, le château de Villerouge-Termenès fut plusieurs fois occupé et convoité.
Le château fut classé monument historique en 1976.