Fait de grès, de silex et de briques rouges et blanches, l'édifice repose sur les vestiges d'une fortification qui protégeait la ville des assaillants au XIVe siècle.
Classé monument historique depuis 1862, la forteresse renferme un musée, faisant double emploi. D'une part, il évoque le passé maritime de la ville du XVIe au XXe siècle.
D'autre part, il abrite une importante collection d'ivoires, et ce depuis 1923.
L'ouverture de ce musée était pourtant compromise dans la mesure où l'édifice était menacé de démolition au début du XXe siècle.