Agent Harness est la clé : pourquoi le même modèle d’IA peut afficher des performances aussi différentes selon les produits

Pourquoi, avec deux produits utilisant le même GPT-4 ou Claude, les performances de l’IA sont-elles si radicalement différentes ? L’ingénieur en IA Akshay Pachaar a proposé sur X un cadre appelé « Agent Harness Engineering », illustré par une métaphore précise : un LLM nu ressemble à un CPU sans système d’exploitation — ce ne sont pas vraiment les modèles sous-jacents qui déterminent la performance du produit IA, mais plutôt la boucle de scheduling, l’intégration des outils et l’architecture de gestion de la mémoire construites autour du modèle.

Le CPU a besoin d’un système d’exploitation, le LLM a besoin d’un Agent Harness

Pachaar a mis en place une série complète de correspondances analogiques : le LLM est le CPU, la fenêtre de contexte est la RAM, la base de données vectorielle est le disque dur, les Tools sont les pilotes de périphériques, et l’Agent Harness est le système d’exploitation. Ce cadre explique un phénomène observé de longue date dans l’industrie : sur le classement LangChain TerminalBench, avec des produits utilisant le même modèle sous-jacent, les écarts de performance peuvent être extrêmement importants.

La clé réside dans le fait que : les capacités du modèle sont une condition nécessaire, mais la qualité d’ingénierie du harness est une condition suffisante. Un Agent Harness bien conçu peut permettre à un modèle de gamme intermédiaire de dépasser des concurrents qui utilisent un modèle de pointe mais avec un harness bâclé.

Les quatre grands composants clés d’un Agent Harness

Selon le cadre de Pachaar, un Agent Harness complet comprend quatre dimensions clés. D’abord la logique de scheduling (Scheduling Loop), qui détermine quand l’agent doit réfléchir, quand il doit agir et quand il doit appeler des outils ; ensuite l’écosystème d’outils (Tool Ecosystem), qui définit quels systèmes externes l’agent peut manipuler ; troisièmement, la gestion de la mémoire (Memory Management), qui gère la mémoire de conversation à court terme et la recherche de connaissances à long terme ; enfin, la gestion du contexte (Context Management), qui décide quelles informations intégrer dans une fenêtre de contexte limitée.

Les compromis dans la conception de ces quatre composants déterminent des modes de comportement radicalement différents du même modèle dans des produits différents. C’est aussi pourquoi ChatGPT d’OpenAI, Claude d’Anthropic et divers produits IA tiers, même si leurs capacités de modèle sous-jacent sont proches, offrent des expériences d’utilisation très différentes.

Contre-argument : un modèle suffisamment fort peut-il internaliser les fonctions du Harness ?

Ce cadre fait également face à des défis. Certains chercheurs estiment qu’à mesure que les modèles de base continuent d’évoluer — en particulier avec des bonds générationnels des capacités de raisonnement — les modèles suffisamment puissants finiront par internaliser la majeure partie des fonctions du harness, comme les CPU modernes qui intègrent progressivement des fonctionnalités autrefois gérées par des puces séparées. Si cette tendance se concrétise, l’importance du harness engineering pourrait diminuer avec le temps.

Cependant, d’après la pratique actuelle, même les modèles les plus puissants dépendent encore fortement d’outils externes et d’une logique de scheduling soigneusement conçue. Dans un avenir prévisible, le harness engineering restera un champ de bataille central pour différencier les produits IA.

Enseignements pour le développement de produits IA

Le cadre de Pachaar offre un angle d’analyse plus précis pour évaluer et reporter les performances des produits IA : plutôt que de comparer uniquement « quel modèle a été utilisé », il faut analyser plus en profondeur les décisions d’ingénierie au niveau harness, comme l’architecture de scheduling, l’écosystème d’outils et les mécanismes de mémoire. Pour les équipes de développement taïwanaises qui construisent actuellement des produits IA, cela signifie qu’une fois le modèle sous-jacent choisi, la véritable concurrence ne fait que commencer : la qualité d’ingénierie du harness est le facteur clé qui détermine la réussite ou l’échec du produit.

C’est cet article, Agent Harness, qui est la clé : pourquoi le même modèle IA peut afficher des performances si différentes selon les produits apparaît pour la première fois sur Chaîne News ABMedia.