Lorsqu'il fut construit, vers l'an 800, l'île était en fait un promontoire qui s'élevait à une cinquantaine de mètres au-dessus du fleuve, une situation radicalement bouleversée par la construction du barrage de Grangent. Pendant le Moyen Âge et plus tard, il subit la destruction, la reconstruction, et plusieurs restaurations.
Il a été inscrit monument historique le 24 octobre 1945 puis tout le site constitué de la tour et de ses abords a été inscrit le 12 mars 1946. Le château est aujourd'hui une propriété privée.