Ceinte de remparts dont il ne reste rien, la ville fut brûlée par Edouard III d'Angleterre en 1348, puis incendiée à plusieurs reprises aux XVe et XVIe siècles. Elle retrouva une certaine prospérité au lendemain de cette période troublée, grâce à la pêche et au commerce assuré par son petit port.
La plupart des maisons des ruelles du vieux Barfleur et du bord du quai datent des XVIIe et XVIIIe siècles. Ce sont des demeures bourgeoises robustes, dont les façades en granit gris de la région forment un bel alignement. Elle étaient à l'origine recouvertes de chaume, mais ce matériau abondant dans ce pays d'élevage a été remplacé par de l'ardoise. Le bourg possède également des habitations plus modestes coiffées de schiste bleu, lui aussi originaire du pays, d'où surgit une grosse cheminée latérale. La massive église St Nicolas domine la mer sur un éperon. A l'image des maisons du bourg, elle est un sobre édifice en granit.