Le petit îlot entra dans l'histoire en 1515, lorsqu'on y débarqua le premier rhinocéros connu en Europe, assez célèbre pour être immortalisé en gravure par Dürer.
Le château fut construit peu après, entre 1524 et 1531, à la demande de François Ier.
Commandant l'entrée du port de Marseille, il devait protéger la rade de toute attaque et garantir la possibilité de ravitaillement de la ville par la mer. L'édifice, de plan carré, était cantonné de trois puissantes tours cylindriques.
En 1702, Vauban, commissaire des fortifications, ordonna la construction, à côté du château, du bâtiment des corps de garde appelé « caserne Vauban ».
A partir du 17e siècle, la forteresse servit essentiellement de prison d'Etat. On y enferma les opposants au pouvoir royal, notamment des protestants, et des républicains sous le Second Empire.
Le site doit cependant sa célébrité aux talents romanesques d'Alexandre Dumas, qui situa l'action du "Comte de Monte-Cristo", paru en 1844, dans l'îlot d'If.