Il fût édifié au 11ème siècle, et abritait une communauté de bénédictins. Ces derniers quittèrent les lieux à la fin du 17ème siècle et les propriétaires ultérieurs laissèrent les bâtiments se dégrader.
La colline de Thouzon était un lieu de pâture pour les troupeaux de mouton et sa forteresse fût un refuge pour les habitants du Thor pendant les temps troublés . Elle fût toutefois prise par les bandes armées du Vicomte de Turenne au 14éme siècle et par le terrible Baron des Adrets pendant les Guerres de religion.