La "bataille des cent modèles" dans le domaine de l'IA : une compétition basée sur l'ingénierie

Le mois dernier, l'industrie de l'IA a connu une "lutte des animaux".

D'un côté, il y a le modèle Llama (lama) lancé par Meta, qui est très apprécié des développeurs en raison de sa nature open source. Après avoir étudié le papier et le code de Llama, la société japonaise NEC a rapidement développé une version japonaise de ChatGPT, résolvant ainsi le goulot d'étranglement technologique de l'IA au Japon.

L'autre partie est un grand modèle nommé Falcon. En mai de cette année, le Falcon-40B a été lancé, dépassant l'alpaga pour atteindre la première place du classement des LLM open source.

Ce classement est réalisé par la communauté des modèles open source et fournit des normes pour évaluer les capacités des LLM. Le classement alterne principalement entre Llama et Falcon.

Après le lancement de Llama 2, il a temporairement pris la tête, mais début septembre, Falcon a lancé la version 180B, reprenant ainsi la première place.

Il est intéressant de noter que les développeurs de Falcon ne proviennent pas d'une entreprise technologique, mais d'un institut de recherche technologique situé dans la capitale des Émirats. Des représentants du gouvernement ont déclaré qu'ils participent à cette compétition pour briser le schéma des acteurs dominants.

Le lendemain de la publication de la version 180B, le ministre de l'IA des Émirats a été sélectionné dans le classement des "100 personnes les plus influentes dans le domaine de l'IA" du magazine Time, aux côtés de "l'architecte de l'IA" Hinton et d'Altman d'OpenAI.

Aujourd'hui, le domaine de l'IA est entré dans une phase de floraison variée. Les pays et les entreprises disposant de ressources financières tentent tous de créer leur propre version locale de ChatGPT. Dans la région du Golfe, l'Arabie Saoudite vient d'acheter plus de 3000 puces H100 pour l'entraînement de LLM pour les universités nationales.

Un investisseur a déjà critiqué : à l'époque, il ne croyait pas à l'innovation des modèles commerciaux d'internet, pensant qu'il n'y avait pas de barrières. Il ne s'attendait pas à ce que l'entrepreneuriat dans les grands modèles de la technologie dure soit toujours une bataille de centaines de modèles.

Comment la technologie de pointe, réputée difficile, est-elle devenue une compétition à laquelle tout le monde peut participer ?

L'algorithme Transformer a changé les règles du jeu

Les start-ups américaines, les géants technologiques chinois et les magnats du pétrole du Moyen-Orient peuvent se lancer dans la recherche et le développement de grands modèles, grâce à l'article célèbre "Attention Is All You Need".

En 2017, huit scientifiques de Google ont publié l'algorithme Transformer dans cet article. C'est le troisième article le plus cité de l'histoire de l'IA, et l'apparition du Transformer a déclenché cette vague actuelle d'IA.

Les différents grands modèles actuels, y compris la série GPT qui a fait sensation, sont tous basés sur la technologie Transformer.

Auparavant, "apprendre aux machines à lire" était un problème académique reconnu. Contrairement à la reconnaissance d'images, la lecture humaine ne se concentre pas uniquement sur les mots et phrases actuels, mais comprend également le contexte. Les premiers réseaux de neurones avaient du mal à traiter de longs textes et à comprendre le contexte.

En 2014, le scientifique de Google Ilya a réalisé une percée. Il a utilisé des réseaux de neurones récurrents (RNN) pour traiter le langage naturel, ce qui a considérablement amélioré les performances de Google Traduction. Les RNN ont introduit un "design récurrent", permettant aux réseaux de neurones de comprendre le contexte.

L'émergence des RNN a suscité de vives discussions dans le milieu académique, et l'auteur de Transformer, Ashish Vaswani, a également mené des recherches approfondies. Cependant, les développeurs ont rapidement découvert que les RNN avaient de graves défauts : l'efficacité du calcul séquentiel était faible et il était difficile de traiter un grand nombre de paramètres.

Depuis 2015, Shazeer et al. ont commencé à développer des alternatives aux RNN, et le résultat final est le Transformer. Par rapport aux RNN, le Transformer présente deux grandes révolutions :

Premièrement, remplacer la conception en boucle par un codage de position permet de réaliser des calculs parallèles, augmentant considérablement l'efficacité de l'entraînement et propulsant l'IA dans l'ère des grands modèles.

Deuxièmement, cela a renforcé la capacité de comprendre le contexte.

Le Transformer a résolu plusieurs problèmes techniques en un seul coup, devenant progressivement la solution dominante dans le domaine du NLP. Même le fondateur des RNN, Ilia, a rejoint le camp du Transformer.

On peut dire que le Transformer est la pierre angulaire de tous les grands modèles d'aujourd'hui, il a transformé la recherche théorique en un problème d'ingénierie.

En 2019, GPT-2 développé par OpenAI sur la base de Transformer a provoqué un émoi dans le monde académique. Google a immédiatement lancé Meena, qui a surpassé GPT-2 uniquement en augmentant les paramètres d'entraînement et la puissance de calcul. L'auteur de Transformer, Ashish Vaswani, a été profondément choqué et a écrit un mémo intitulé "Meena dévore le monde".

L'émergence des Transformers a ralenti la vitesse d'innovation des algorithmes fondamentaux dans le milieu académique. Les éléments d'ingénierie tels que l'ingénierie des données, l'échelle de calcul et l'architecture des modèles sont progressivement devenus cruciaux dans la compétition en IA. Toute entreprise technologique ayant une certaine capacité technique peut développer de grands modèles.

Le scientifique en informatique Andrew Ng a déclaré lors d'une conférence à l'Université de Stanford : "L'IA est un ensemble d'outils, y compris l'apprentissage supervisé, l'apprentissage non supervisé, l'apprentissage par renforcement et maintenant l'intelligence artificielle générative. Ce sont toutes des technologies générales, similaires à d'autres technologies générales comme l'électricité et Internet."

OpenAI reste le leader des LLM, mais les agences d'analyse des semi-conducteurs estiment que l'avantage de GPT-4 provient principalement des solutions d'ingénierie. Si cela devient open source, les concurrents pourront rapidement le reproduire. Cet analyste prévoit que d'autres grandes entreprises technologiques pourraient bientôt développer des grands modèles ayant des performances comparables à celles de GPT-4.

Une muraille fragile

Actuellement, la "bataille des cent modèles" est devenue une réalité objective.

Le rapport indique qu'à la fin de juillet de cette année, le nombre de grands modèles en Chine a atteint 130, dépassant les 114 des États-Unis. Divers mythes et légendes ne suffisent plus aux entreprises technologiques nationales pour choisir des noms.

En dehors de la Chine et des États-Unis, d'autres pays riches ont également commencé à réaliser le "un pays, un modèle" : le Japon et les Émirats arabes unis ont déjà leur propre modèle, le gouvernement indien a dirigé le développement de Bhashini, et la société internet sud-coréenne Naver a lancé HyperClova X, etc.

Cette scène semble ramener à l'aube d'Internet, une époque où divers capitaux dépensaient de l'argent pour conquérir des terres.

Comme mentionné précédemment, le Transformer a transformé les grands modèles en un simple problème d'ingénierie. Tant que quelqu'un a de l'argent et de la puissance de calcul, il peut développer. Cependant, bien que la barrière à l'entrée soit basse, cela ne signifie pas que tout le monde peut devenir un géant à l'ère de l'IA.

Le "conflit des animaux" mentionné au début est un exemple typique : bien que Falcon soit temporairement en tête, il est difficile de dire quel impact cela a eu sur Meta.

Les entreprises qui open-source leurs résultats partagent non seulement les dividendes technologiques, mais espèrent également mobiliser l'intelligence sociale. Avec l'utilisation et l'amélioration constantes de Llama par divers secteurs, Meta peut appliquer ces résultats à ses propres produits.

Pour les grands modèles open source, une communauté de développeurs active est la véritable force concurrentielle.

Meta a défini une voie open source dès la création de son laboratoire d'IA en 2015. Zuckerberg est bien conscient de l'importance de "bien gérer les relations avec le public".

En octobre, Meta a également organisé un événement intitulé "Incitation des créateurs version IA" : les développeurs qui utilisent Llama 2 pour résoudre des problèmes sociaux ont la possibilité de recevoir un financement de 500 000 dollars.

Aujourd'hui, la série Llama de Meta est devenue le baromètre des LLM open source.

À début octobre, parmi les 10 premiers du classement des LLM open source, 8 sont basés sur Llama 2. Sur cette plateforme, il y a plus de 1500 LLM utilisant le protocole open source Llama 2.

Il est certainement important d'améliorer les performances, mais la plupart des LLM et de GPT-4 présentent encore un écart évident.

Par exemple, récemment, GPT-4 a atteint la première place du classement AgentBench avec un score de 4,41. AgentBench a été lancé par plusieurs universités pour évaluer la capacité de raisonnement et de décision des LLM dans des environnements ouverts multidimensionnels.

Les résultats des tests montrent que le deuxième, Claude, n'a obtenu que 2,77 points, avec une différence évidente. Ces LLM open source aux grandes ambitions affichent des scores souvent autour de 1 point, ne représentant même pas un quart de GPT-4.

Il faut savoir que GPT-4 a été publié en mars de cette année, ce qui est le résultat de plus de six mois de rattrapage par rapport à ses homologues mondiaux. La raison de cet écart est l'équipe de scientifiques de haut niveau d'OpenAI et l'expérience de recherche accumulée depuis longtemps en LLM.

C'est-à-dire que la capacité fondamentale des grands modèles n'est pas les paramètres, mais la construction de l'écosystème ( open source ) ou la capacité d'inférence pure ( closed source ).

Avec l'essor de la communauté open source, les performances des LLM pourraient converger, car tout le monde utilise des architectures de modèles et des ensembles de données similaires.

Un autre problème plus intuitif est que, à part Midjourney, il semble qu'aucun grand modèle ne soit rentable.

Point d'ancrage de la valeur

En août de cette année, un article intitulé "OpenAI pourrait faire faillite d'ici la fin de 2024" a suscité l'attention. L'idée principale de l'article est que la vitesse à laquelle OpenAI dépense de l'argent est trop rapide.

Le texte mentionne qu' depuis le développement de ChatGPT, les pertes d'OpenAI se sont rapidement aggravées, avec une perte d'environ 540 millions de dollars en 2022, et qu'il ne reste qu'à attendre un investissement de Microsoft.

Bien que le titre de l'article soit exagéré, il révèle la réalité des fournisseurs de grands modèles : un déséquilibre sévère entre les coûts et les revenus.

Des coûts trop élevés signifient qu'actuellement, seuls Nvidia et éventuellement Broadcom réalisent de gros profits grâce à l'IA.

Selon les estimations d'une société de conseil, Nvidia a vendu plus de 300 000 puces H100 au deuxième trimestre de cette année. Il s'agit d'une puce AI efficace, que les entreprises technologiques et les instituts de recherche du monde entier s'arrachent. Si l'on empilait ces H100, leur poids équivaudrait à celui de 4,5 Boeing 747.

Les performances d'NVIDIA ont donc explosé, avec une augmentation des revenus de 854 % par rapport à l'année précédente, choquant Wall Street. Actuellement, le H100 se vend entre 40 000 et 50 000 dollars sur le marché de l'occasion, alors que son coût n'est d'environ que 3 000 dollars.

Le coût élevé de la puissance de calcul est devenu un obstacle au développement de l'industrie. Selon des estimations, les entreprises technologiques du monde entier devraient dépenser 200 milliards de dollars par an pour l'infrastructure des grands modèles, tandis que ces modèles ne génèrent au maximum que 75 milliards de dollars de revenus par an, laissant un déficit d'au moins 125 milliards de dollars.

De plus, à part quelques exceptions, la plupart des entreprises de logiciels n'ont pas encore trouvé de modèle de rentabilité après d'importants investissements. Même les leaders du secteur comme Microsoft et Adobe n'ont pas eu un parcours très fluide.

L'outil de génération de code AI GitHub Copilot, développé par Microsoft en collaboration avec OpenAI, coûte 10 dollars par mois, mais en raison des coûts d'infrastructure, Microsoft perd en fait 20 dollars par mois, tandis que les utilisateurs intensifs entraînent même des pertes de 80 dollars. On peut donc supposer que le Microsoft 365 Copilot, qui est au prix de 30 dollars, pourrait entraîner des pertes encore plus importantes.

De même, Adobe, qui vient de lancer l'outil Firefly AI, a rapidement mis en place un système de points pour éviter que les utilisateurs n'en abusent et ne causent des pertes à l'entreprise. Si les utilisateurs dépassent leur quota de points mensuels, Adobe réduira la vitesse du service.

Il faut savoir que Microsoft et Adobe sont déjà des géants du logiciel avec des activités claires et de nombreux utilisateurs payants. Alors que la plupart des grands modèles avec de nombreux paramètres ont encore pour principale application le chat.

Il est indéniable que sans OpenAI et ChatGPT, cette révolution de l'IA pourrait ne pas avoir lieu. Cependant, la valeur apportée par l'entraînement de grands modèles reste à discuter.

De plus, avec l'intensification de la concurrence homogène et l'augmentation des modèles open source, les fournisseurs de grands modèles pourraient faire face à une pression accrue.

Le succès de l'iPhone 4 n'est pas dû à son processeur A4 en technologie de 45 nm, mais à sa capacité à jouer à Plants vs. Zombies et Angry Birds.