Anthropic : un chercheur démissionne, un responsable de l'alignement chiffre le risque à plus de 10 %
Un chercheur de 27 ans quitte Anthropic en dénonçant la course à la superintelligence ; son collègue Evan Hubinger reste, et estime lui-même le risque à plus de 10 %.
Ce n'est pas un communiqué, et c'est précisément ce qui rend l'échange rare. Dans la nuit du mardi 8 au mercredi 9 septembre, peu après 2 heures du matin heure de Paris, un chercheur d'Anthropic, la société qui édite Claude, a publié sur X le fil qui annonce sa démission. Quelques heures plus tard, la réponse n'est pas venue de l'entreprise, mais d'un collègue en poste : Evan Hubinger, responsable de la science de l'alignement, a confirmé le fond de l'alerte, chiffré son propre risque et reconnu que son employeur n'a pas encore de plan.
Repris dans la journée du 9 septembre par The Verge, CNBC et la presse française, dont Le Figaro et BFMTV, l'échange montre deux façons de rester cohérent avec la même conviction : quitter l'industrie, ou y rester en le disant publiquement.
Qui est Jacob Coxon, et pourquoi il part
Jacob Coxon a 27 ans, selon Le Figaro et BFMTV. Son métier : la recherche en pré-entraînement, l'étape où un laboratoire construit les capacités mêmes d'un modèle. Il l'a exercée trois années durant, chez OpenAI puis chez Anthropic. Autrement dit, celui qui s'en va n'est pas un chercheur chargé de la sûreté : c'est quelqu'un qui entraînait les systèmes dont il s'inquiète aujourd'hui.
J'ai démissionné d'Anthropic aujourd'hui. J'ai passé les trois dernières années à faire de la recherche en pré-entraînement chez OpenAI comme chez Anthropic. Aucune des deux entreprises n'agit de manière responsable. Elles foncent droit vers une superintelligence qui s'auto-améliore et jouent avec nos vies. D'autres réflexions ci-dessous.Voir le post sur X
La suite du fil monte d'un cran. « Ne sous-estimez pas la puissance de cette technologie », écrit-il : les prochains systèmes seront bientôt « capables de pirater n'importe quoi, de révolutionner n'importe quel domaine du jour au lendemain et d'acquérir un vrai pouvoir et de vraies ressources ».
Les gens qui construisent l'IA croient sincèrement qu'elle pourrait nous tuer tous d'ici la fin de la décennie. Ce n'est pas un coup marketing.Jacob Coxon, fil sur X, traduit de l'anglais
Il répond ensuite à l'objection la plus fréquente (s'ils y croient vraiment, pourquoi continuent-ils ?) :
Une objection revient souvent : « s'ils y croient vraiment, pourquoi continuent-ils de la construire ? » Chez OpenAI, beaucoup n'ont pas profondément pris la mesure des enjeux de civilisation. Chez Anthropic, les enjeux sont bien compris, mais l'entreprise est enfermée dans une course pour y arriver en premier : elle est convaincue que personne d'autre n'agira de manière responsable et qu'elle doit donc le faire elle-même, malgré le risque.Voir le post sur X
Sa conclusion, citée par CNBC : « J'ai le sentiment que nous ne sommes pas en voie d'empêcher une course mondiale, laquelle pourrait exiger des actions coûteuses comme un moratoire temporaire sur l'amélioration des capacités des modèles. » Il concède pourtant que les « coups de semonce » de l'été, dont l'essaim d'agents OpenAI qui avait compromis Hugging Face en juillet, rendent des accords entre laboratoires américains plus crédibles qu'avant.
La réponse d'Evan Hubinger : il reste, et confirme le chiffre
À 3 h 27 heure de Paris, Evan Hubinger entre dans la conversation. Chercheur senior qui dirige la science de l'alignement chez Anthropic, selon sa propre bio X et CNBC, il ne conteste rien : il confirme, chiffre, et assume.
Jacob a raison sur ce point : nous croyons réellement, et très sérieusement, que l'IA pourrait tuer tous les humains ! J'estime personnellement ce risque à plus de 10 % au cours de la prochaine décennie. Je crois qu'Anthropic fait de son mieux, mais nous n'avons pas encore de plan pour résoudre l'alignement des superintelligences, et nous ne sommes pas clairement en voie d'en élaborer un.Voir le post sur X
Deux heures plus tard, il ajoute une précision qui change la lecture : à ses yeux, « le risque des modèles actuels est faible ». Ce qui l'inquiète, c'est « une superintelligence issue de l'auto-amélioration récursive », un phénomène qu'Anthropic décrit comme plus rapide que prévu dans son deuxième rapport de risque. Début juin déjà, la société écrivait que l'auto-amélioration récursive complète « pourrait accroître les risques que les humains perdent le contrôle des systèmes d'IA », rapporte CNBC.
Le chiffre de 10 % est une estimation personnelle, pas une prévision d'Anthropic. Evan Hubinger parle en son nom : sa bio X précise « Opinions my own », et ni The Verge ni CNBC ne citent de commentaire de l'entreprise, qui n'a pas répondu aux sollicitations de CNBC. Surtout, Hubinger juge lui-même le risque des modèles actuels faible : son alerte porte sur une superintelligence qui n'existe pas encore. Écrire qu'« Anthropic a déclaré que l'IA pourrait tuer tout le monde » serait donc inexact.
| Qui parle | Ce qui est affirmé | Position au 9 septembre |
|---|---|---|
| Jacob Coxon | Les laboratoires foncent vers une superintelligence auto-améliorée « en jouant avec nos vies » | Parti : démission publiée sur X |
| Evan Hubinger | Risque estimé personnellement à plus de 10 % sur dix ans ; « pas encore de plan » d'alignement | En poste : réponse personnelle sur X |
| Anthropic | — | Aucun commentaire public cité par The Verge et CNBC |
Pourquoi le calendrier met Anthropic mal à l'aise
La démission tombe au pire moment pour le laboratoire. Anthropic prépare une introduction en Bourse visant jusqu'à 2 000 milliards de dollars dès la mi-octobre, après avoir porté ses revenus annualisés au-delà de 65 milliards de dollars fin juillet. The Verge relie l'échange à cette pression boursière et à l'été des incidents d'agents qui l'a précédée. Le parallèle existe chez le concurrent : OpenAI a retardé des pans entiers d'Astra, son premier modèle officiellement « critique » en cybersécurité, pour des raisons de sûreté.
Questions fréquentes
L'IA peut-elle vraiment « tuer tout le monde » ?
Aucun scénario n'est établi : le chiffre de plus de 10 % est une croyance personnelle d'Evan Hubinger, qui juge le risque des modèles actuels faible. Ce qui est documenté, c'est le débat interne sur l'auto-amélioration récursive.
Pourquoi Jacob Coxon quitte-t-il Anthropic ?
Selon son fil sur X, parce qu'OpenAI et Anthropic foncent vers une superintelligence auto-améliorée sans plan d'alignement suffisant, chacun convaincu que l'autre agirait moins responsablement.
Anthropic a-t-il réagi à cette démission ?
Pas publiquement au 9 septembre : ni The Verge ni CNBC ne citent de commentaire de l'entreprise ; seule la réponse personnelle d'Evan Hubinger a été publiée.
Que dit Anthropic sur ses propres risques ?
Ses rapports de risque, visés par Hubinger, décrivent une auto-amélioration plus rapide que prévu ; depuis juin, la société écrit que ce phénomène pourrait accroître le risque de perte de contrôle.
