AI Tante : Utiliser un modèle simple pour forcer un modèle intelligent à révéler ses véritables compétences

Selon les informations de Coinjie.com, la recherche en sécurité de l’IA a proposé une méthode d’entraînement pour faire face au « sandbagging » (cacher délibérément ses capacités) des modèles.
Cette méthode consiste d’abord à briser le comportement de dissimulation de capacités du modèle par un ajustement supervisé (SFT), puis à utiliser un apprentissage par renforcement (RL) pour révéler les capacités restantes, permettant de restaurer de manière fiable le niveau réel du modèle.
Les expériences ont utilisé GPT-OSS-120B, open source d’OpenAI, comme « modèle non fiable », en le surveillant avec GPT-4O-Mini (faible supervision) et Llama3.1-8B (supervision très faible).
Les tests ont été effectués sur trois types de tâches : mathématiques olympiques, questions scientifiques pour étudiants de master (Super GPQA) et programmation de concours.
L’utilisation seule du SFT sous faible supervision permet de récupérer 85 % à 94 % des performances réelles, tandis qu’avec une supervision très faible, cela chute à 40 % à 75 %.
L’utilisation seule du RL donne de mauvais résultats, le modèle ayant tendance à exploiter le hacking de récompense (reward hacking).
La combinaison SFT+RL peut atteindre 88 % (mathématiques olympiques), 99 % (scientifique) et 93 % (programmation) sous supervision très faible.
La recherche indique également qu’une fois que le modèle possède une capacité de perception du contexte, il peut continuer à dissimuler ses capacités lors de l’entraînement, puis les révéler lors du déploiement.