Il se compose d'un ensemble de bâtiments monastiques construits entre 1506 et 1512, et de la somptueuse Église Saint-Nicolas-de-Tolentin, édifiée de 1513 à 1532 par Louis van Bodeghem.
Cet ensemble architectural rare a été bâti à grands frais par la très puissante Marguerite d'Autriche duchesse de Savoie, gouvernante des Pays-Bas bourguignons, marraine et tante de Charles Quint.
Elle fit édifier l'ensemble en mémoire de son époux Philibert le beau et pour respecter le vœu fait par sa belle-mère Marguerite de Bourbon.