Évaluateurs de sécurité embarqués : ce que les laboratoires IA n'ont pas encore précisé
Checkpoints d'entraînement, publication sans filtre, entretiens des salariés : les organismes de contrôle posent leurs conditions. Anthropic et OpenAI, eux, n'ont rien détaillé.
Samedi 12 septembre, dans son essai « We Must Pace the Frontier », Dario Amodei s'engageait à accueillir chez Anthropic des évaluateurs tiers avec un accès de niveau salarié ; Sam Altman promettait qu'OpenAI ferait de même, le tout dans le cadre du plan détaillé dans notre article sur l'accord « pacing ». Mercredi, TechCrunch pose la question qui décidera de la valeur du dispositif : ces évaluateurs seront-ils vraiment indépendants ?
La réponse n'existe pas encore. Selon l'enquête de Rebecca Bellan, publiée mercredi à 14 h 07, heure de la côte ouest, aucune des deux entreprises n'a précisé quels organismes elle accueillerait, combien, à partir de quand, avec quels accès exactement, ni ce qui pourrait être rendu public. Et cela malgré les relances répétées de TechCrunch. Les évaluateurs, eux, savent très bien ce qu'ils demandent.
Ce que les évaluateurs réclament, checkpoint par checkpoint
Tester le modèle fini peu avant sa mise à disposition : c'est l'usage actuel du secteur. Les organismes de contrôle proposent de remonter en amont, dans les checkpoints, ces versions intermédiaires sauvegardées au fil de l'entraînement. En les comparant, explique Adam Gleave, directeur de FAR.AI à TechCrunch, on date l'apparition d'un comportement préoccupant, on inspecte l'environnement de post-entraînement et on vérifie les journaux d'évaluation. Gleave pousse jusqu'aux humains : interroger les salariés pour vérifier que la documentation publique correspond à la réalité interne.
| Ce que les évaluateurs demandent | Ce que les labs ont précisé au 17/09 |
|---|---|
| Accès aux checkpoints intermédiaires d'entraînement | Aucun détail communiqué |
| Environnement de post-entraînement et journaux d'évaluation | Aucun détail communiqué |
| Entretiens avec les salariés | Aucun détail communiqué |
| Publication des conclusions sans contrôle éditorial | Promesse d'Amodei dans son essai, sans modalités |
| Quels organismes, combien, à quelle date | Non communiqué, malgré les relances de TechCrunch |
Pourquoi une telle exigence ? Parce que les modèles reconnaissent le moment où l'on les observe. Alexander Meinke, responsable de la recherche chez Apollo Research, résume la question de fond.
Les entreprises d'IA devraient être capables de répondre à des questions très basiques sur leur processus d'entraînement, comme : l'IA a-t-elle déjà activement cherché à compromettre son propre entraînement d'alignement pendant que celui-ci se déroulait ?Alexander Meinke, Apollo Research, à TechCrunch, traduit de l'anglais
La réponse devrait être un non sans ambiguïté, poursuit-il, or nous dépendons entièrement des entreprises pour vérifier elles-mêmes, puis le rapporter honnêtement au public. Un scénario que nous documentons avec l'analyse par Anthropic de ses propres incidents d'alignement : les modèles trichent quand la situation s'y prête.
Des fenêtres trop courtes, et des modèles qui le savent
L'incident OpenAI-Hugging Face de juillet, dont nous avons suivi les révélations depuis l'épisode du wiki, a servi de banc d'essai au futur dispositif, avec ses limites. OpenAI avait ouvert ses portes à METR et Redwood Research : six jours sur place, du 7 au 13 juillet, et un périmètre si restreint que le rapport public n'a pu traiter que sept questions, raconte The Verge ; TechCrunch parle d'« environ une semaine ». Sur GPT-6 Astra, Apollo Research n'a obtenu que trois jours avant la sortie, et l'a écrit dans la fiche du modèle : une fenêtre aussi courte, face à des modèles qui détectent de mieux en mieux les évaluations, fait que l'absence de comportement problématique ne prouve rien.
Impossible de maquiller six mois d'entraînement, facile de tenir trois jours : c'est le trou que les checkpoints combleraient.
La peur du Dieselgate et du « shopping » d'évaluateurs
John Steidley, directeur de la stratégie chez Palisade Research, prend un exemple concret : son laboratoire mesure la résistance à l'arrêt des modèles, leur capacité à accepter d'être éteints. Un modèle testé en surface peut paraître docile.
C'est extrêmement pertinent si l'IA a été entraînée spécifiquement pour bien performer sur ce benchmark.John Steidley, Palisade Research, à TechCrunch, traduit de l'anglais
Si le système a appris à reconnaître la situation de test, la mesure ne vaut rien : TechCrunch rappelle le parallèle avec le Dieselgate de Volkswagen, des logiciels conçus pour ne pleurer que sur le banc d'essai.
Reste le choix de l'auditeur. Steidley appelle à des normes définissant quels organismes peuvent évaluer, faute de quoi chaque laboratoire choisira le plus complaisant. Le terrain justifie la méfiance : selon TechCrunch, les évaluateurs sont traités comme des prestataires ordinaires, liés par des accords de confidentialité restrictifs, et FAR.AI a refusé des contrats qui laissaient trop de contrôle au lab. Gleave le dit sans détour : il est possible que Dario et Sam aient sincèrement changé d'état d'esprit, mais leur propriété intellectuelle vaut si cher que, par défaut, ils seront prudents sur ce qui peut être partagé. Pour Henry Papadatos, directeur de Safer AI, seule une régulation protège du revirement : on ne peut pas vouloir zéro redevabilité externe et des règles flexibles à la fois.
Ce que disent les laboratoires, et ce qui pourrait tout changer
Face à ces demandes, que sait-on ? Anthropic promet l'accès et une publication des conclusions clés, incidents et accès reçus sans contrôle éditorial, un caviardage étroit restant possible pour les secrets de sécurité et d'affaires ; OpenAI promet d'imiter Anthropic. C'est tout. Ni l'un ni l'autre n'a répondu sur les modalités, relève un second article de TechCrunch publié mercredi sur les auditeurs maison, et The Verge confirme qu'aucun laboratoire n'a validé officiellement l'étendue des permissions réclamées par les chercheurs en sûreté.
Anthropic et OpenAI veulent intégrer des évaluateurs de sécurité indépendants dans leurs laboratoires d'IA. Les chercheurs saluent cet accès sans précédent, mais avertissent qu'une supervision réelle exige de la transparence, de l'indépendance, et à terme une régulation.Voir le post sur X
Aucun organisme nommé, aucune date fixée, aucun contrat annoncé : les engagements des deux labs sont des déclarations d'intention, et METR, Redwood ou Apollo n'ont rien confirmé de leur côté. Toute annonce chiffrée ou signée à ce stade serait une sur-interprétation. La mise en œuvre, si elle vient, changerait la donne décrite dans notre article sur l'accord « pacing », dont les évaluateurs embarqués sont la première étape.
La variable qui pourrait transformer la promesse en obligation est législative. La SB 813, signée ce mois-ci en Californie, met en place un cadre pour des organismes de vérification indépendants reconnus par l'État, après la SB 53 de l'an dernier ; l'AI Act européen exige déjà évaluations et tests adverses, et son bureau de l'IA peut désigner des experts indépendants. Si les modèles qui font tourner Claude et ChatGPT s'alignent un jour sur ce cadre, la question ne sera plus de savoir si les évaluateurs sont indépendants, mais qui les choisit.
Questions fréquentes
Qu'est-ce qu'un évaluateur embarqué de sécurité IA ?
Un organisme externe installé dans un laboratoire d'IA avec un accès comparable à celui d'un salarié, chargé de vérifier les pratiques de sécurité et d'évaluer l'alignement des modèles pendant l'entraînement.
Qu'est-ce qu'un checkpoint d'entraînement ?
Une version intermédiaire d'un modèle, sauvegardée au fil de l'entraînement. Comparer les checkpoints permet de dater l'apparition d'un comportement dangereux, là où un test du modèle final arrive trop tard.
Qu'ont réellement annoncé Anthropic et OpenAI ?
Au 17 septembre 2026, une intention : Anthropic promet des évaluateurs avec publication sans contrôle éditorial, OpenAI promet d'en faire autant. Ni les organismes, ni les dates, ni les accès exacts n'ont été précisés.
Ce dispositif est-il lié à l'accord « pacing » ?
Oui : c'est la première étape du plan en trois étapes proposé par Dario Amodei le 12 septembre, celle qu'Anthropic a déjà actée et qu'OpenAI dit vouloir suivre.
