Le géant de la technologie Microsoft vient de dévoiler des chiffres impressionnants sur la performance de l'inférence en IA. Leur dernier benchmark a atteint 1,1 million de tokens par seconde en utilisant un seul rack Nvidia GB300 NLV72 — pulvérisant le record précédent qu'ils avaient eux-mêmes établi à 865 000 tokens/sec avec la configuration GB200.

Ce type de saut dans le débit est plus significatif que ne le suggèrent les chiffres. Il s'agit de l'infrastructure de base qui alimente tout, des modèles linguistiques aux applications d'IA décentralisées potentielles. Une inférence plus rapide signifie une latence plus faible, une meilleure évolutivité et, en fin de compte, des coûts de calcul moins élevés — des facteurs qui impactent directement la façon dont l'IA s'intègre dans les systèmes du monde réel.

L'architecture GB300 représente clairement une avancée significative en termes de capacité de traitement brute. Pour tous ceux qui suivent l'intersection de l'IA et des systèmes distribués, ces gains de performance indiquent la direction que prend la couche de calcul. Et dans un domaine où chaque milliseconde et chaque coût par token comptent réellement, les améliorations d'efficacité à cette échelle ne sont pas seulement impressionnantes — elles sont fondamentales.