A Google propõe Titans: ultrapassar as restrições de Poder de computação e expandir o contexto

A 25 de fevereiro, os dados do Golden Finance relataram que o Google Research Institute lançou uma nova pesquisa, Titans. Ao introduzir um novo módulo de memória de longo prazo neural, uma arquitetura de três cabeças em colaboração e design de otimização de hardware, a janela de contexto de modelos grandes foi expandida para 2 milhões de tokens com um aumento de apenas 1,8 vezes no Poder de computação. Os Titans não apenas resolveram o gargalo de Poder de computação do modelo Transformer no processamento de longos contextos, mas também, através do design biomimético da hierarquia do sistema de memória humana, alcançaram pela primeira vez uma inferência precisa de contexto muito longo de 2 milhões de tokens.