Wulgrin, comte d'Angoulême, construit au IXe siècle un premier château pour contenir les invasions normandes et protéger Angoulême. Quelques siècles et sièges plus tard, Louis IX, le roi de France, le rase en 1242, avant la bataille de Taillebourg. Matha est alors un fief qui relève du roi d'Angleterre.
Matha passe de main en main, tantôt français, tantôt anglais. Au XVIe siècle, les protestants le mettent à sac. Du château féodal, il ne reste rien. Au début du XVIIe siècle, on édifie un nouveau château. La famille des comtes de Matha, Bourdeilles, le conservera jusqu' à la Révolution.
A la fin du XVIIIe siècle, le château comprenait un pavillon d'entrée – celui qu'on voit aujourd'hui, une chapelle, un grand corps de logis avec des dépendances. Le pavillon, à trois niveaux, dont le chemin de ronde a été ajouté au XIXe siècle, donne une idée de ce que pouvait être l'ensemble.
Mais la vaste esplanade d'herbe permet des animations d'été dans ce lieu, comme le marché fermier, et la découverte du pavillon permet des comparaisons avec le château voisin de Neuvicq.