Tập đoàn công nghệ Microsoft vừa công bố những con số ấn tượng về hiệu suất suy luận AI. Bảng xếp hạng mới nhất của họ đạt 1.1 triệu token mỗi giây chạy trên một rack Nvidia GB300 NLV72 duy nhất—vượt xa kỷ lục trước đó mà họ tự thiết lập là 865.000 token/giây với cấu hình GB200.

Loại bước nhảy về thông lượng này quan trọng hơn nhiều so với những con số thể hiện. Chúng ta đang nói về hạ tầng nền tảng cung cấp năng lượng cho mọi thứ từ mô hình ngôn ngữ đến các ứng dụng AI phân tán tiềm năng. Suy luận nhanh hơn đồng nghĩa với độ trễ thấp hơn, khả năng mở rộng tốt hơn và cuối cùng là chi phí tính toán rẻ hơn—những yếu tố ảnh hưởng trực tiếp đến cách AI được tích hợp vào các hệ thống thực tế.

Kiến trúc GB300 rõ ràng thể hiện một bước nhảy đáng kể về khả năng xử lý thô. Đối với những ai theo dõi sự giao thoa giữa AI và hệ thống phân tán, những cải tiến về hiệu suất này báo hiệu hướng đi của lớp tính toán. Và trong một lĩnh vực mà mili giây và chi phí mỗi token thực sự quan trọng, những cải tiến về hiệu quả ở quy mô này không chỉ ấn tượng—chúng mang tính nền tảng.