L'équipe de pré-entraînement de Hugging Face a publié quelque chose de massif - un guide approfondi de 200 pages qu'ils appellent le « Smol Training Playbook ». Il passe en revue chaque étape de l'entraînement de grands modèles à partir de zéro. Cela pourrait constituer une référence solide pour les équipes qui construisent une infrastructure d'IA ou explorent des applications d'apprentissage automatique dans des systèmes décentralisés. Analyse détaillée couvrant la préparation des données, l'optimisation du calcul et les pipelines d'entraînement.