Pour autant, la construction du nouveau château commence au XIIème siècle, en pleine période romane, et nombre de vestiges encore présents datent de cette époque lointaine. Le château est initialement la propriété des seigneurs de Boussagues. Laissé à l'abandon au fil du temps, le château devient propriété de la famille Fleury, les Fleury qui vont rester les seigneurs de Dio jusqu'au XIXème siècle. La famille Fleury transforme peu à peu le château pour en faire une demeure de plaisance, et son aspect définitif date de cette époque.
Après la révolution, le château va connaître une histoire mouvementée et passera aux mains de plusieurs propriètaires qui le laisseront à l'abandon. Il faudra attendre ces dernières années pour voir enfin des travaux de restauration menés par les nouveaux propriètaires, la Caisse des Monuments Historiques ainsi qu'une association qui oeuvre désormais pour la remise en état complète de ce merveilleux site.