Il est un vestige des ouvrages de défense de la ville.
Cette ancienne caserne abrite aujourd'hui le premier musée de France consacré à la sculpture figurative de la première moitié du XXème siècle.
Il semblerait que cet ensemble fortifié en pierre coquillière servait de poste d'observation et de tour de défense. Les maisons appartenaient aux vicomtes de Marsan, qui ont fini par les délaisser quand ils se sont éloignés de leur ville d'origine. Au xvie siècle, on modifie leur partie supérieure et on les dote de créneaux, perdurant leur vocation militaire.