Le château primitif du XVIIe siècle n'a pris son aspect actuel qu'entre 1850 et 1880 grâce au marquis Etienne de Pommereu d'Aligre, qui fit détourner le cours de l'Eure, niveler les terrains pour créer des terrasses et planter un parc.On dit qu'il y avait aux Vaux deux châteaux : celui des gens et celui des chevaux, tant la splendeur des communs et des écuries était grande.
Le domaine resta dans la famille d'Aligre jusqu'en 1889. En 1946, il fut acheté (pour la valeur de deux timbres poste) par le père Brottier en faveur de l'œuvre des orphelins apprentis d'Auteuil.
Depuis lors des jeunes viennent y apprendre un métier. Le château compte maintenant plus de trois cent pièces. Domaine privé. Parc ouvert à la visite.