Ce n'est qu'au XIIIe siècle qu'un des fils cadets de la famille Altier fit construire une maison forte au lieu-dit "le Champ".
Puis au XVe siècle et au XVIIe, le château sera ensuite agrandi. Abandonné au XVIe siècle, ce n'est qu' à partir du XIXe siècle qu'il sera restauré.
En 1942, il sera inscrit à l'inventaire des Monuments Historiques.
Par son aspect, il présente un aspect de type militaire avec des tours couronnées de mâchicoulis.