Demeure des Adhémar de Monteil, possession papale puis dauphinoise, ce château-fort devient à la fin du 16e siècle une citadelle avec de puissants bastions.
Transformé en prison de 1791 à 1926, ce château est classé Monument historique en 1889.
Acquis par le Département de la Drôme, il abrite aujourd'hui un centre d'art contemporain qui accueille des expositions toute l'année.