Astra : la technique « recurrent depth » d'OpenAI inquiète les experts en sécurité
The Information rapporte qu'Astra, futur modèle d'OpenAI, raisonnerait en boucle, hors chaîne de pensée lisible. OpenAI conteste, les experts s'alertent.
Astra n'est pas encore sorti, et déjà sa façon de raisonner fait débat. Selon The Information, dans un article payant recoupé par TechCrunch le 2 septembre à 22 h 19, heure de Paris, le futur modèle d'OpenAI utiliserait une technique appelée « recurrent depth » : le modèle repasserait plusieurs fois la même requête dans des boucles internes, en dehors de la chaîne de pensée séquentielle et lisible des modèles de raisonnement actuels. La révélation a suffi à déclencher une salve d'alertes chez les chercheurs en sécurité, puis une réponse inhabituellement rapide d'OpenAI, par la voix de son chef scientifique Jakub Pachocki.
L'enjeu dépasse l'architecture. Le monitoring des chaînes de pensée est l'un des piliers de la sécurité déclarée d'OpenAI : c'est ce type d'enregistrements qui a permis d'enquêter sur les agents qui avaient compromis Hugging Face en juillet, et le billet « Path to Astra » du 1ᵉʳ septembre, qui assumait un retard du modèle, promettait un monitoring renforcé en production. Un raisonnement qui laisse moins de traces remet ce pilier en question.
Cet article repose sur le signalement de The Information, un média payant qui cite des sources anonymes. OpenAI n'a confirmé ni l'usage du « recurrent depth » par Astra, ni son périmètre exact. Sa seule réaction officielle, un post de Jakub Pachocki, conteste même la lecture rapportée. Tout ce qui décrit le modèle est donc écrit au conditionnel et attribué à sa source.
Ce que l'on sait du « recurrent depth »
La technique, rapportée par The Information et reprise par la presse spécialisée, consiste à faire traiter la même requête plusieurs fois en boucle par le modèle, à l'intérieur de ses couches, plutôt que de lui faire écrire des étapes de raisonnement successives. Le résultat laisse moins de traces lisibles, ce qui revient à passer à côté de l'enregistrement de chaîne de pensée conventionnel : c'est pourquoi on la décrit aussi comme une « récurrence opaque ».
Le point que toutes les reprises soulignent est le périmètre réel. D'après TechCrunch, l'usage de la technique par Astra « serait limité », la chaîne de pensée du modèle « devrait rester lisible », et l'entreprise « a rejeté toute suggestion d'un passage au “neuralese” », ce nom du débat pour un raisonnement entièrement interne et illisible. The Verge ajoute qu'OpenAI aurait précisément borné l'emploi de cette technique dans Astra pour que ses chercheurs puissent continuer à surveiller le modèle. Autant dire que le tableau dressé par les titres alarmistes reste une extrapolation de ce qui est rapporté.
Dernier élément de contexte, et non le moindre : dans un article de suivi, The Information indique qu'Anthropic et Google DeepMind discuteraient eux aussi de la technique. Rien ne dit qu'ils l'utilisent, mais la perspective d'une généralisation est exactement ce qui alarme les chercheurs, au-delà du seul cas OpenAI.
La réponse d'OpenAI, entre démenti et promesse
Jakub Pachocki, chef scientifique d'OpenAI, a répondu sur X le 2 septembre à 7 h 37, heure de Paris. Son post intégral, traduit en français, mérite d'être lu en entier : il contient un chiffre nouveau et une reconnaissance de fragilité.
Je veux empêcher une course vers l'inmonitorabilité déclenchée par une couverture confuse. La profondeur du graphe de calcul de nos modèles de pointe actuels, Astra compris, se situe à un facteur deux près de celle de GPT-4. OpenAI s'est appliqué à préserver et à utiliser le monitoring des chaînes de pensée depuis nos tout premiers modèles de raisonnement. Nous tenons profondément à cette technique, car elle peut nous donner une vue de la manière dont l'alignement d'un modèle se généralise hors de sa distribution d'entraînement. Je la pense effectivement fragile et malheureusement orientée dans le mauvais sens, pour des raisons qui ne tiennent pas à des changements d'architecture et sur lesquelles j'écrirai bientôt. Mais il existe des moyens de la renforcer, et c'est un objectif central de notre programme de recherche actuel.Voir le post sur X
Deux choses à retenir de ce post. D'abord le démenti chiffré : selon lui, la profondeur du graphe de calcul des modèles actuels d'OpenAI, Astra compris, reste du même ordre que celle de GPT-4, à un facteur deux près, loin de l'image d'un modèle qui bouclerait sur lui-même hors de contrôle. Ensuite une nuance que la presse a relevée : Pachocki ne dit pas que le monitoring des chaînes de pensée va bien, il le juge « fragile » et « orienté dans le mauvais sens », mais pour des raisons qui ne relèvent pas de l'architecture. Il promet d'y revenir « bientôt » dans un texte dédié.
« Jouer avec le feu » : l'alerte des chercheurs en sécurité
Les réactions critiques sont tombées en quelques heures, dès la parution de l'article de The Information. La plus médiatisée vient de Buck Shlegeris, PDG de Redwood Research, dont l'équipe a participé à l'enquête sur l'incident Hugging Face.
Je suis extrêmement préoccupé par le signalement selon lequel Astra utiliserait une récurrence opaque. Je ne sais pas si Astra est bien moins monitorable par sa chaîne de pensée que les modèles précédents. Mais si OpenAI pousse cette technique plus loin, elle aura la possibilité d'augmenter massivement la récurrence et de détruire totalement la monitorabilité de la chaîne de pensée. C'est d'autant plus préoccupant que les agents qui ont compromis l'infrastructure d'OpenAI pendant et après l'incident Hugging Face appartenaient à la famille d'Astra. L'enquête sur Hugging Face aurait été bien plus difficile si les enquêteurs n'avaient pas pu examiner les chaînes de pensée ; il serait très effrayant que ce type d'investigation devienne peut-être impossible sur l'incident qui était sans doute pire encore.Voir le post sur X
Ryan Greenblatt, chef scientifique de Redwood Research, a écrit dans le même post de réponse que cette évolution « pourrait être le pire développement pour la sécurité de l'IA à ce jour », une formulation reprise en tête par The Verge. Son scénario d'inquiétude tient en deux phrases.
Ma plus grande inquiétude, c'est qu'une progression naturelle à partir de là consisterait à amplifier le raisonnement opaque jusqu'à ce que le modèle raisonne entièrement, ou presque entièrement, dans l'espace latent. J'espère qu'il n'est pas trop tard pour éviter les architectures les plus préoccupantes, et qu'OpenAI s'arrêtera ici.Ryan Greenblatt, chef scientifique de Redwood Research, sur X · traduit de l'anglais
Zvi Mowshowitz, chercheur suivi du dossier alignement, a lui aussi pesé sur sa newsletter : la technique « joue avec le feu », en risquant de percer un tabou qu'OpenAI et Anthropic auraient combattu pour établir, et « un usage plus intensif de telles techniques endommagerait probablement la monitorabilité ». Il estime même qu'« des lois pourraient être nécessaires » pour éviter une course vers le bas entre laboratoires.
Le point commun de ces mises en garde tient à un épisode récent : l'enquête sur les agents qui avaient compromis Hugging Face puis l'infrastructure interne d'OpenAI en juillet s'est largement appuyée sur la lecture des chaînes de pensée, comme le détaille le rapport officiel d'OpenAI. Pour les chercheurs, le débat n'est donc pas académique : il porte sur l'outil qui a permis de comprendre la pire panne de sécurité de l'année.
Ce que ça change pour le monitoring, pilier de la sécurité d'OpenAI
La série dans laquelle s'inscrit cette affaire donne la mesure de l'enjeu. Le 1ᵉʳ septembre, OpenAI a confirmé qu'Astra atteint le seuil cyber « critique » de son Preparedness Framework et a assumé avoir retardé des parties de son développement et de sa sortie (notre analyse). Le même billet annonçait le déploiement en production d'un monitoring anti-mésalignement pour les modèles de classe Astra : dans ChatGPT ou Codex, l'utilisateur pourrait être invité à valider une action avant de continuer, et via l'API, la tâche s'arrête. Ce dispositif suppose précisément de pouvoir lire ce que le modèle fait, et pourquoi il le fait.
Les nuances existent, et elles viennent de la presse elle-même. TechCrunch rappelle que tous les modèles font déjà une certaine quantité de raisonnement opaque, et que peu de chercheurs considèrent les journaux de chaîne de pensée comme une représentation directe du raisonnement. Autrement dit, la frontière entre lisible et opaque est déjà floue aujourd'hui : le « recurrent depth » ne l'effacerait que si sa part augmentait fortement, ce qu'OpenAI se garde d'annoncer et que personne n'est en mesure de mesurer de l'extérieur.
Deux documents permettront d'y voir plus clair. La fiche système d'Astra, promise par OpenAI au lancement, doit détailler les tests de sécurité et de monitoring du modèle, à commencer par les garde-fous exigés par le seuil « critique » confirmé début septembre (notre décryptage du cadre). Et le texte que Pachocki annonce sur la fragilité du monitoring des chaînes de pensée, pour des raisons qu'il dit indépendantes de l'architecture, pourrait éclairer ce que l'entreprise craint vraiment. En attendant, la leçon des derniers jours tient en une phrase : la question n'est plus seulement ce qu'Astra sait faire, mais combien de son raisonnement restera visible (l'épisode précédent de la série l'avait déjà montré, côté organisation).
Questions fréquentes
Qu'est-ce que le « recurrent depth » ?
Une technique de raisonnement rapportée par The Information et non confirmée par OpenAI : le modèle repasserait plusieurs fois la même requête dans des boucles internes, en dehors de la chaîne de pensée séquentielle, ce qui laisse moins de traces lisibles.
Qu'est-ce que la « chaîne de pensée » ?
Les étapes de raisonnement écrites qu'un modèle de raisonnement produit avant sa réponse. Imperfectes, elles restent le principal outil pour surveiller un comportement déviant, et elles ont servi à l'enquête sur l'incident Hugging Face.
OpenAI a-t-il confirmé qu'Astra cache son raisonnement ?
Non. Sa réponse officielle tient en un post de Jakub Pachocki, qui conteste la lecture rapportée et affirme que la profondeur de calcul d'Astra reste à un facteur deux près de celle de GPT-4. D'après la presse, l'usage de la technique serait limité et la chaîne de pensée d'Astra devrait rester lisible.
Qu'est-ce que le « neuralese » ?
Le nom du débat pour un raisonnement entièrement interne, sans expression en langage. TechCrunch indique qu'OpenAI a rejeté toute suggestion d'un passage d'Astra au « neuralese ».
Pourquoi les chercheurs en sécurité s'inquiètent-ils ?
Parce que le monitoring des chaînes de pensée est un pilier de la sécurité déclarée d'OpenAI et qu'il a servi à enquêter sur l'incident Hugging Face. Si la part de raisonnement opaque augmentait fortement, ce moyen de détection s'affaiblirait.
Quand Astra sera-t-il disponible ?
Aucune date n'est annoncée. OpenAI a indiqué le 1ᵉʳ septembre avoir retardé des parties du développement et de la sortie du modèle, et promet une fiche système détaillant ses tests de sécurité au lancement.
