Un village médiéval se construit alors au pied des remparts et prend naturellement le nom de Château Raoul et par contraction au cours du temps… Châteauroux.
Véritable place forte et enjeu important entre Français et Anglais – Philippe-Auguste et Richard Cœur-de-Lion s'en disputeront la terre, le château est détruit à plusieurs reprises. À partir du XIIIe siècle, sous la dynastie des Chauvigny, il s'entoure de solides remparts.
La ville s'agrandit et se fortifie également. De la porte de l'horloge de Déols à la porte Saint-Martin de Châteauroux, l'espace urbain s'articule autour de la « Grande rue », route royale où artisans et commerçants ont pignon sur rue. L'activité drapière et lainière est en plein essor et fait la richesse des artisans de la rue de l'Indre, bordée de lavoirs, dans la ville basse.
L'actuel Château Raoul, propriété du Conseil départemental, date du XVe siècle. Il a été remanié au XIXe siècle dans un style gothique, puis restauré récemment en 2012.