Ce château a une légende. Il fut construit par Charlemagne et destiné à lutter contre les invasions normandes. Renaud de Dammartin y séjourna avec son épouse Ide de Boulogne et y signa en 1203 la première Charte Communale.
Pour se venger de la rébellion de Renaud, Philippe Auguste donna l'ordre de détruire le château, restauré en 1228 par Philippe de Hurepel, Comte de Boulogne, qui en avait fait sa résidence d'été.
Là, entourés d'une cour brillante, bercés par les complaintes des troubadours, les Comtes de Boulogne vivaient d'une façon princière, recevant et chassant dans la forêt un gibier alimentant en venaison la table royale qui fait aujourd'hui rêver : cerfs, chevreuils, loups, sangliers, buffles…
Au 16ème siècle, le château, appartenant à la couronne de France, doit subir les assauts des envahisseurs anglais.
Après la Mort d'Henri VIII, en 1547, le Château redevint français. A nouveau propriété royale après les guerres de la ligue, il fut détruit par Michel Patras de Campaigno, sur ordre du Cardinal de Richelieu en 1617.
Son chemin de guet, ses oubliettes, ses prisons et ses souterrains dont l'un conduisait au Mont Violette et à Tingry, ont été les témoins de combats épiques et de fuites discrètes…