Montfort a eu une histoire mouvementée, et a subi beaucoup de changement, de reconstruction et de l'élargissement au cours des 800 années qui il a été ici. Le célèbre cathares, Bernard de Casnac, a vécu dans le château, et juré de «couper en morceaux tous les catholiques dans la région».
Il y a une légende populaire au château que la fille de Casnac a été brûlé à mort à Montfort, et que son fantôme hante encore le château.