"L’inférence de mon Mac mini est lente"

On a tous joué sur notre laptop en local avec un modèle d’inférence. Dans ce talk, vous découvrirez le parcours de Scaleway pour partir de cette expérimentation et arriver à servir des trillions de tokens sur des dizaines de modèles. Nous vous y présenterons les challenges, les métriques à surveiller, les embûches à éviter… pour tirer le meilleur parti de la grosse boîte pleine de GPUs qui vient de plomber votre budget.