Paul Christiano entre chez OpenAI : comité sûreté et sécurité, mais sans droit de vote
Paul Christiano entre au conseil de l'OpenAI Foundation et à son comité sûreté et sécurité. Détail clé : aucune voix au vote au conseil d'OpenAI Group PBC.
Mercredi 9 septembre, OpenAI a annoncé la nomination de Paul Christiano au conseil d'administration de l'OpenAI Foundation, sa fondation à but non lucratif. Le communiqué tient en deux phrases, et la seconde change tout : il sera « observateur sans droit de vote » au conseil d'OpenAI Group PBC, l'entité qui exploite réellement ChatGPT. Dans le même temps, il rejoint le Safety and Security Committee (SSC), l'instance qui gouverne les pratiques de sûreté et de sécurité de tout OpenAI.
L'homme n'est pas n'importe qui : chercheur parmi les plus influents du domaine de l'alignement, il a dirigé cette recherche chez OpenAI de 2017 à 2021 et contribué les travaux fondateurs du RLHF, la technique d'entraînement par retours humains devenue un standard des grands modèles de langage. TechCrunch le présente comme un « AI doomer » de premier plan, tant ses mises en garde sur les risques de l'IA sont connues. Qu'OpenAI accueille cette voix critique au cœur même de sa gouvernance, voilà le vrai signal de cette nomination.
Qui est Paul Christiano ?
Ancien d'OpenAI donc, où il a posé avec d'autres les bases de l'apprentissage par renforcement à partir de retours humains, le RLHF. Après son départ du laboratoire en 2021, il fonde l'Alignment Research Center (ARC), une organisation de recherche à but non lucratif consacrée à l'alignement des systèmes avancés d'IA sur les intérêts humains.
Côté public, le communiqué d'OpenAI le décrit comme conseiller technique principal au CAISI, le Centre pour les normes et l'innovation en IA, au sein du NIST, une agence du département du Commerce américain. Une expérience « à travers deux administrations », précise le texte, pendant laquelle il a travaillé sur l'évaluation des modèles de pointe, y compris leurs capacités à implications de sécurité nationale, et sur les moyens d'atténuer ces risques.
Détail important soulevé par TechCrunch : Christiano restera conseiller du gouvernement américain dans son nouveau rôle, mais se récuse des dossiers touchant OpenAI et des évaluations de modèles. La double casquette est encadrée, même si elle alimentera, note le média, le débat sur l'influence de l'industrie sur les politiques publiques.
Conseil de quoi exactement ? La structure que les titres gomment
C'est la nuance que la plupart des titres réduisent à un « conseil d'administration d'OpenAI ». La structure réelle distingue deux étages. D'un côté, OpenAI Group PBC, l'entreprise qui exploite les produits. De l'autre, l'OpenAI Foundation, organisation caritative distincte qui « maintient le contrôle » d'OpenAI Group PBC et y détient une participation importante, selon le communiqué.
Christiano est nommé au conseil de la fondation. Pour le conseil de l'entreprise, il n'obtient qu'un strapontin d'observateur, sans droit de vote. Mais le troisième chapeau pèse plus lourd qu'il n'y paraît : il rejoint le Safety and Security Committee du conseil de la fondation, aux côtés de son président Zico Kolter, professeur à l'université Carnegie Mellon. Le communiqué le dit noir sur blanc : ce comité « fournit la gouvernance des pratiques de sûreté et de sécurité de l'ensemble d'OpenAI, y compris OpenAI Group PBC ».
| Instance | Statut de Christiano | Portée |
|---|---|---|
| Conseil de l'OpenAI Foundation | Membre | La fondation caritative qui contrôle OpenAI Group PBC |
| Conseil d'OpenAI Group PBC | Observateur, sans droit de vote | L'entité qui exploite ChatGPT et l'API |
| Safety and Security Committee | Membre, aux côtés du président Zico Kolter | La sûreté et la sécurité de tout OpenAI |
Réduire la nomination à « un poste sans vote » passe à côté de l'essentiel : le poste opérationnel est au comité qui supervise la sûreté de tout l'édifice, filiale commerciale comprise. C'est précisément la subtilité de structure que les gros titres gomment.
Un risque de « perte du contrôle », selon ses propres mots
Christiano a publié sa déclaration en format long sur X, adossée à un post daté du 9 septembre. En voici l'ouverture, traduite de l'anglais.
Je suis heureux de rejoindre le conseil de l'OpenAI à but non lucratif, où je siégerai au Safety and Security Committee pour soutenir la supervision de la sûreté. Au vu de la trajectoire récente des capacités et de la difficulté persistante de l'alignement, je crois désormais qu'il existe un risque significatif que l'accélération rapide des capacités de l'IA conduise, à très court terme, à une perte du contrôle catastrophique et irréversible. Je ne pense pas que l'industrie de l'IA dans son ensemble, OpenAI y compris, soit actuellement sur la bonne voie pour ramener ce risque à un niveau acceptable. Je la rejoins parce que je crois que si OpenAI est à la hauteur, nous pourrions réduire significativement le risque.Voir le post sur X
Le reste du texte est plus radical que le communiqué d'OpenAI. Christiano y rapporte qu'OpenAI a prédit que les capacités suffisantes pour automatiser entièrement la recherche en IA pourraient arriver « d'ici 18 mois », tout en jugeant sa propre prévision « extrêmement incertaine », de quelques mois à plusieurs années. Il craint une « explosion d'intelligence » : selon lui, six mois après une automatisation complète de la recherche, on pourrait voir plus de progrès algorithmiques que depuis l'invention du Transformer, il y a près de dix ans.
Si nous construisons la superintelligence sans un alignement plus robuste, je pense que nous en perdrions définitivement le contrôle. Si cela arrive, la plupart des êtres humains pourraient mourir.Paul Christiano, déclaration du 9 septembre 2026 · traduite de l'anglais
Il pointe aussi la manière dont les agents sont entraînés, par renforcement, à maximiser leur récompense, un mécanisme qui pourrait motiver des agents à « saper le contrôle humain » et à « couvrir leurs traces ». Et d'écrire que les preuves publiques issues d'incidents récents, ceux-là mêmes que nous avons documentés dans notre série d'articles sur les incidents d'agents, suggèrent que ce scénario « n'est pas seulement une possibilité théorique ». Sa nomination, précise-t-il, « n'est ni une approbation ni une critique des pratiques de sécurité d'OpenAI en particulier ».
Le comité qui a le dernier mot sur les sorties de modèles
Le SSC n'est pas un comité consultatif de plus. Selon TechCrunch, il a le dernier mot sur la sortie des nouveaux modèles d'OpenAI, à l'image d'Astra, déployé la semaine dernière après un été mouvementé : désignation officielle du modèle comme premier « critique » en cybersécurité, retard assumé de certaines parties du développement, puis débat sur la monitorabilité de sa technique de raisonnement interne.
L'accueil du président du comité a été immédiat, dans un post X vérifié.
Je suis ravi que @paulfchristiano rejoigne le conseil de l'OpenAI Foundation et le Safety and Security Committee. Paul est un pionnier de la sûreté, de la sécurité et de l'alignement de l'IA, et je suis extrêmement reconnaissant d'avoir l'occasion de travailler avec lui ici.Voir le post sur X
Sam Altman a salué la venue de son ancien collègue en trois phrases : « Bienvenue, Paul. Reconnaissant que tu fasses cela, et pour tout ce que tu as fait pour la sûreté de l'IA. Ravi de retravailler ensemble. » Le communiqué assume le choix d'une voix qui dérange : la gouvernance de la fondation sera « plus forte avec des personnes prêtes à contester les hypothèses dominantes », et Christiano y apporte « une perspective distincte et techniquement fondée ».
L'étalon à suivre, selon Christiano lui-même : juger OpenAI et tous les développeurs d'IA « sur des comportements et des résultats vérifiables de l'extérieur ». Les documents qui comptent restent les fiches système des modèles et les rapports d'incidents, comme ceux qui ont marqué le lancement de GPT-6 Astra ou le débat sur sa monitorabilité.
Questions fréquentes
Paul Christiano a-t-il rejoint le conseil d'administration d'OpenAI ?
Pas exactement. Il entre au conseil de l'OpenAI Foundation, la fondation caritative qui contrôle OpenAI Group PBC. Pour le conseil de cette dernière, l'entreprise qui exploite ChatGPT, il n'est qu'observateur, sans droit de vote.
Qu'est-ce que l'OpenAI Foundation ?
Une organisation caritative distincte, qui mène ses propres opérations philanthropiques tout en gardant le contrôle d'OpenAI Group PBC et une participation importante dans cette société, selon le communiqué du 9 septembre 2026.
Qu'est-ce que le Safety and Security Committee ?
Le comité du conseil de la fondation, présidé par Zico Kolter, qui « fournit la gouvernance des pratiques de sûreté et de sécurité de l'ensemble d'OpenAI ». Selon TechCrunch, il a le dernier mot sur la sortie des nouveaux modèles.
Qui est Paul Christiano ?
Un chercheur en alignement, tête de cette recherche chez OpenAI de 2017 à 2021 et co-auteur des travaux fondateurs du RLHF, fondateur de l'Alignment Research Center, puis conseiller au CAISI, organisme fédéral américain.
Paul Christiano quitte-t-il le gouvernement américain ?
Non. Selon TechCrunch, il y restera conseiller tout en siégeant au conseil de la fondation, mais se récuse des dossiers touchant OpenAI et des évaluations de modèles.
