Por que a procura por SRAM de repente explodiu? Veja esta operação e entenderá.

Recentemente, uma grande fabricante de chips de IA revelou posições numa grande empresa de tecnologia e, pouco depois, anunciou a aquisição de uma startup de inovação em chips. Essa sorte ou força, ao analisar com atenção, revela a resposta.

Qual é a vantagem central desta empresa? Ao contrário dos GPUs tradicionais que dependem de memória externa de alta largura de banda (HBM), seus processadores LPU utilizam uma abordagem de design com memória estática de acesso aleatório (SRAM) integrada no chip. Esses 230MB de SRAM no chip podem fornecer até 80TB/s de largura de banda de memória — o que isso significa? A velocidade de processamento de dados supera de longe os métodos tradicionais de GPU.

Como é o desempenho real? Seus serviços em nuvem são famosos pela velocidade de inferência impressionante. Ao rodar grandes modelos de código aberto como Mixtral e Llama 2, eles podem gerar cerca de 500 tokens por segundo, uma resposta muito mais rápida do que os serviços tradicionais. Além disso, o preço é competitivo, cobrando por milhão de tokens, o que é bastante acessível.

Por que isso é tão importante agora? Porque o setor de IA está passando por uma mudança crucial — a demanda por inferência está prestes a superar completamente a necessidade de treinamento. Nesse contexto, a inovação na arquitetura LPU oferece uma infraestrutura de inferência eficiente, de baixo custo e realmente escalável, que é o que o mercado realmente precisa. Um responsável por uma fabricante de chips afirmou claramente que planeja integrar esses processadores de baixa latência na sua arquitetura de IA, com o objetivo de atender a uma gama mais ampla de inferências de IA e cargas de trabalho em tempo real.