Seules trois grosses tours rondes, au nord-ouest et au sud, témoignent du château médiéval détruit en 1523 par les troupes de Charles Quint, en représailles à l'échec rencontré à Bayonne, dont le maire était alors Jean II, seigneur de Gramont. Le château sera alors rapidement remis en état par des ajouts Renaissance, tout en conservant le principe des éléments défensifs médiévaux. Au XVIIe siècle, d'importants travaux, influencés par l'architecture Louis XIII, alors en vogue dans la région parisienne, sont confiés à l'architecte Louis de Mihet, également responsable des travaux des fortifications de Bayonne. La construction de jardins et de terrasses date de cette époque. Les derniers travaux seront réalisés au début du XVIIIe siècle avec la mise en place de la monumentale porte d'entrée au fronton triangulaire. En 1793, le château et ses dépendances furent confisqués au profit de la Nation et un hôpital militaire y fut installé pendant quelques mois. L'édifice était vide quand, dans la nuit du 22 au 23 février 1796, un incendie le ravagea.