Cassez les oeufs et séparez les blancs des jaunes. Dans un saladier, battez vivement les jaunes d'oeufs avec le sucre jusqu'à ce que le mélange blanchisse et devienne mousseux. Incorporez progressivement le lait et la crème fraîche et continuez à travailler jusqu'à ce que la pâte soit lisse. Râpez le zeste de citron et la noix de muscade (il en faut une pincée).
Ajoutez-les à la préparation, ainsi que le xérès, puis laissez reposer au moins 1 h au frais. battez les blancs en neige ferme.
Ajoutez-les délicatement à la pâte à l'aide d'une spatule en bois, sans les casser. Faites griller rapidement les amandes dans une poêle sèche et concassez-les.
Laissez-les refroidir. Parsemez-en le syllabub.