テック大手のマイクロソフトは、AI推論性能に関する重要な数字を発表しました。最新のベンチマークでは、1台のNvidia GB300 NLV72ラックで毎秒110万トークンを処理し、以前の記録であるGB200セットアップの865,000トークン/秒を大きく上回りました。

このようなスループットの向上は、数字以上に重要です。これは、言語モデルから分散型AIアプリケーションまでを支える基盤インフラストラクチャの話です。推論速度が速くなることで、遅延の低減、スケーラビリティの向上、そして最終的には計算コストの削減につながります。これらの要素は、AIが実世界のシステムにどのように組み込まれるかに直接影響します。

GB300アーキテクチャは、純粋な処理能力の面で明らかに大きな進歩を示しています。AIと分散システムの交差点を注視している人々にとって、これらの性能向上は、計算層がどの方向に向かっているかを示す指標です。そして、ミリ秒やトークンあたりのコストが実際に重要となる分野において、この規模の効率改善は単なる驚きではなく、基盤となるものなのです。