En 1291, Philippe Le Bel fortifie le mont Andaon sur lequel le fort est bâti. Le lieu permet alors la surveillance de la navigation et assure au pays une protection.
En 1316, l'importance du fort Saint-André croît quand les papes s'y installent. A la fin du XVe siècle, le rôle du site est remis en cause car la Provence devient française. Avignon et le comtat venaissin deviennent alors une enclave au sein du royaume mais demeurent possession pontificale jusqu'en 1791. Le fort perd progressivement de son intérêt stratégique, d'autant que le Rhône déplace son lit de neuf cents mètres et s'éloigne progressivement du rocher.
En parcourant les terrasses des tours et le chemin qui suit les murs d'enceinte, on découvre une très belle vue sur Avignon, la vallée du Rhône et le mont Ventoux.