Технологический гигант Microsoft недавно опубликовал серьезные показатели производительности ИИ-инференции. Их последний бенчмарк достиг 1,1 миллиона токенов в секунду при работе на одном стеке Nvidia GB300 NLV72 — побив предыдущий рекорд, установленный ими же, на уровне 865 000 токенов/с с настройкой GB200.

Такой скачок пропускной способности важнее, чем кажется по числам. Мы говорим о инфраструктуре, которая обеспечивает работу всего — от языковых моделей до потенциальных децентрализованных ИИ-приложений. Более быстрая инференция означает меньшую задержку, лучшую масштабируемость и, в конечном итоге, более низкие затраты на вычисления — факторы, которые напрямую влияют на интеграцию ИИ в реальные системы.

Архитектура GB300 явно представляет собой значительный скачок в сырой вычислительной мощности. Для тех, кто следит за пересечением ИИ и распределенных систем, эти показатели свидетельствуют о направлении развития вычислительного слоя. И в области, где миллисекунды и стоимость за токен действительно важны, улучшения эффективности на таком уровне не просто впечатляют — они являются основополагающими.