D'architecture néo gothique, l'édifice est inspiré des modèles de châteaux forts du Moyen âge et porte la marque de la passion orientaliste de son propriétaire (décoration inspirée par les nombreux voyages du savant, fresques aux symboles africains... ).
Il abrite un ancien observatoire d'astronomie et une chapelle où Antoine d'Abbadie est enterré. Il léguera sa magnifique demeure à l'Académie des Sciences.