C'est sur cette colline, facilement défendable, que fut construit un château nommé dans les textes "Castellum de Caned". Il est cité une première fois en 1013, puis une seconde en 1017 sous celui de "Villa de Caneto" (Une villa, à l'époque, représentait un petit village. En 1052, nous avons encore une trace écrite de ce château, indiqué "Canetum".
Le château devint rapidement le siège de la vicomté de Canet, dont les membres formèrent une famille puissante au XIIe.