Il a été construit à partir du xvie siècle sous la direction des architectes Nicolas Rambourg puis Jacques Maigret, pour la famille des marquis de Hautefort, proche du Roi et ayant des charges importantes à la Cour de France. La famille est très appréciée des populations locales pour sa générosité envers les pauvres.
Le marquis Jacques-François de Hautefort fera édifier dans le village un hospice en forme de croix grecque, du même style architectural que le château avec sa grande coupole centrale. À la Révolution, le château et la famille ont été défendus par les habitants de Hautefort.
Une armée conventionnelle d'Excideuil projetait de le détruire en tant que symbole d'une féodalité de l'Ancien Régime. Les habitants du village ont fait fondre leurs cuivres pour en faire des armes et ont sauvé leur château de la destruction.
C'est une ancienne forteresse médiévale, transformée en demeure de plaisance au XVIIème siècle.