Août 1577. Installé depuis dix ans à Amsterdam où il tient une auberge, Beer vit avec sa fille adoptive Marie qui supporte de plus en plus mal son mutisme et sa mélancolie. Ces derniers soirs, comme chaque année au mois d'août, il s'isole dans sa chambre pour se remémorer sa vie passée à Anvers, ses trois épouses mortes en couches et son dernier amour, la Femme Sauvage, décédée durant leur fuite vers le nord. Il replonge dans la ville bruissante d'Anvers au XVIe siècle aux côtés des intellectuels éclairés de l'époque - cartographes, imprimeurs, commerçants, astrologues, peintres, etc. - qui fréquentent son auberge et y tiennent les réunions secrètes de leur confrérie, baptisée la Famille de l'Amour. Au retour d'une expédition maritime, des explorateurs lui demandent d'héberger une "femme sauvage" et sa petite fille, toutes deux vêtues de peaux de phoque.