En 1490, le fief est cédé à Jean De Carondelet. Cinq siècles plus tard, Potelle appartient toujours à la même famille : les Fremin du Sartel
Ce château supporta les nombreux incendies dûs, notamment, aux armées de Louis XI ou de Louis XIV
Au XVIe siècle, des modifications furent apportées : galerie rajoutée dans la cour, installation de toitures...
En outre, de larges douves sont conservées autour du château, ainsi qu'un superbe parc, une cave voûtée et une chapelle contenant de nombreuses pierres tombales!
Attention château privé qui ne se visite pas. Pas possible de le voir de la route.