Dans le périmètre des remparts du XIIIe siècle et de part et d'autre d'un donjon du XIIe, deux bâtiments se côtoient depuis le partage de l'enceinte entre deux cousins rivaux en 1484. Le château vieux, sur des bases médiévales, montre un logis Renaissance. Brûlé pendant les guerres de Religion, il fut remanié au XVIIe siècle et au XIXe qui édifia l'audacieuse galerie surplombant le précipice. Le château jeune, construit entre 1484 et 1510, conserve un air sévère de forteresse malgré des aménagements internes, des percements de fenêtres aux XVIIe-XVIIIe siècles, et l'ajout d'une élégante porte sculptée en 1683 à l'entrée de son escalier.
Forts d'un riche passé, le village et les châteaux, propriété de la commune depuis 1987, sont une image symbolique du Tarn-et-Garonne.