Pour cette raison, dés le début de notre ère, un poste de surveillance Romain y est installé .Localisé dans la partie nord, il en subsiste très peu de trace, les remaniements successifs du château ayant nécessité la démolition , avec réemploi de leurs matériaux, d'une grande partie des bâtiments primitifs.
Bien que le château, de part sa position stratégique, ait continué d'assumer son rôle de gardien des gorges, nous ignorons qui en furent les occupants successifs entre la fin de l'empire Romain et le début de la féodalité, aucune trace significative de cette longue période de troubles n'ayant été découverte à ce jour.
Profondément remanié, agrandi et surélevé entre le XII° et le XIV° siècle, il est abandonné au début du XIV° siècle, les habitants d'Ollioules ayant négocié avec leurs seigneurs le rachat de la quasi-totalité des droits féodaux. Dés lors et durant des siècles, il est livré à la démolition jusqu' à ce que, en 1974, Mme. et Mr. Pageze en fassent l'acquisition afin d'en dégager et préserver les vestiges.