Google propose Titans : repousser les limites de la Puissance de calcul et étendre le contexte

Le 25 février, Google Research a publié une nouvelle étude sur les Titans. Grâce à l’introduction d’un nouveau module de mémoire neuronale à long terme, d’une architecture collaborative à trois têtes et de modules de conception d’optimisation matérielle, la fenêtre contextuelle du grand modèle est étendue à 2 millions de jetons alors que la puissance de calcul n’est augmentée que de 1,8 fois. Titans résout non seulement le goulot d’étranglement de la puissance de calcul dans le traitement en contexte long du modèle Transformer, mais simule également le mécanisme hiérarchique du système de mémoire humaine grâce à une conception biomimétique, et réalise pour la première fois l’inférence précise du contexte ultra-long de 2 millions de jetons.