Raksasa teknologi Microsoft baru saja mengumumkan angka-angka serius tentang kinerja inferensi AI. Benchmark terbaru mereka mencapai 1,1 juta token per detik yang dijalankan pada satu rak Nvidia GB300 NLV72—menghancurkan rekor sebelumnya yang mereka tetapkan sendiri di angka 865.000 token/detik dengan pengaturan GB200.

Lompatan throughput semacam ini lebih penting daripada angka-angka yang terlihat. Kita berbicara tentang infrastruktur tulang punggung yang mendukung segala hal mulai dari model bahasa hingga potensi aplikasi AI terdesentralisasi. Inferensi yang lebih cepat berarti latensi yang lebih rendah, skalabilitas yang lebih baik, dan akhirnya biaya komputasi yang lebih murah—faktor-faktor yang secara langsung memengaruhi bagaimana AI diintegrasikan ke dalam sistem dunia nyata.

Arsitektur GB300 jelas menunjukkan lonjakan yang berarti dalam kemampuan pemrosesan mentah. Bagi siapa saja yang mengikuti persimpangan AI dan sistem terdistribusi, peningkatan kinerja ini menandakan ke mana arah lapisan komputasi. Dan dalam ruang di mana milidetik dan biaya per token benar-benar penting, peningkatan efisiensi sebesar ini bukan hanya mengesankan—tetapi juga mendasar.