il est détruit en 1328 lors de la révolte des flamands à Cassel. Reconstruit en 1435 par Colart de la Clyte, grand bailli de Flandre, et restitué à Philippe de Commynes par Charles le Téméraire en 1469.
Il fait l'objet d'une inscription au titre des monuments historiques depuis 1981. Aujourd'hui, le château accueille la mairie.