à 1500. Le seul vestige subsistant de cette époque est la tour carrée située sur la façade sud, la Tour "Charlemagne".
Le château fut remanié dès la fin du XVIe siècle pour Anne de Beaujeu, comtesse de Gien et fille aînée de Louis XI,
le bâtiment hébergea Henri II et Catherine de Médicis, puis Louis XIV et Anne d'Autriche durant la Fronde.