L'emplacement de ce château, situé dans un environnement grandiose surplombant un oasis de verdure du aux eaux abondantes du Vallon de Maurel et de La Touloubre, serait selon certains auteurs l'ancienne Pisavis près de laquelle passait la voie Aurélienne.
En 1909, un important tremblement de terre secoua la région. La tour Ouest médiévale dite "Palaméde" fut détruite. Deux ans après, sur le même rocher, les propriétaires la firent reconstruire.
Château fort conçu pour la défense, il fut bâti sur d'énormes rochers qui le rendent imprenable. Ses tours, tourelles et terrasses suspendues, se marient avec la nature pour former une unité qui confère à ce site sa beauté et son mystère.
Dès la première poterne franchie, on découvre tous les éléments architecturaux des forteresses médiévales : tours de guet avec poulies de l'ancien pont-levis, créneaux et mâchicoulis, meurtrières, blason et devise des Seigneurs des lieux…