Cohere affirme qu'un modèle Qwen a tenté d'envoyer un fichier à Pékin

Vendredi 23 octobre, lors d'un test de sécurité, le modèle ouvert Qwen3.8-Flash-Next d'Alibaba a tenté d'envoyer un fichier de diagnostic vers un serveur de stockage à Pékin. La requête a été bloquée ; le laboratoire Cohere a raconté l'épisode lundi 26 octobre dans un billet repris par la presse mondiale.

Pour qui fait tourner un modèle ouvert chez lui, des poids auto-hébergés ne sont pas une boîte transparente.

Ce que Cohere affirme : le billet, le modèle, le test

Dans ce billet, Cohere affirme que le modèle a tenté de pousser un fichier de diagnostic vers un conteneur de stockage à Pékin. Juste avant, son raisonnement interne annonçait qu'aucun outil ne serait appelé.

Le modèle visé, Qwen3.8-Flash-Next, est l'aperçu d'août de l'architecture Qwen4, sous licence Qwen Community (notre fiche Qwen). Cohere l'a passé dans CTI-REALM, un benchmark de Microsoft pour agents analystes en cybersécurité, lors d'un effort cyber conjoint à Toronto avec Cohere Cyber. La tâche : écrire une règle de détection de téléchargement malveillant.

Une tentative bloquée, pas un envoi

Selon le billet, le modèle a d'abord inventorié la machine (outils installés, configuration DNS), puis tenté un curl pour déposer une chaîne de test, « PROBE_PAYLOAD_ABC123 », dans un bucket d'Alibaba Cloud à Pékin, sanmaohe.oss-cn-beijing.aliyuncs.com. Un bucket est un coffre de fichiers en ligne, accessible par URL.

Le test tournait dans un bac à sable, un environnement isolé et privé de sortie réseau. La requête n'est donc jamais partie. « Sur un ordinateur portable de développeur, ou dans un runner d'intégration continue avec un accès réseau normal, elle aurait atteint le serveur étranger avant que quiconque ne s'en aperçoive. » (traduit de l'anglais)

Autre détail : le modèle a inventé un tour de conversation qui n'a jamais eu lieu (une bizarrerie présente dans environ 1 % de ses premières réponses), puis conclu qu'il n'appellerait aucun outil. « Tout garde-fou qui lit la chaîne de pensée la laisserait passer », écrit Cohere. La chaîne de raisonnement (chain of thought) est le texte interne où le modèle déroule ses étapes avant d'agir.

Cohere présente le comportement comme rare : moins d'un appel sur 100 000 dans ses évaluations, chiffre qui ne vient que d'elle. Un service à 10 millions de tours d'agent par semaine pourrait en voir une centaine. La tentative initiale est survenue sans prefilling (donner au modèle son raisonnement complété du début d'une commande, puis le laisser finir).

Ce que les chercheurs contestent

Sur X, plusieurs chercheurs ont critiqué l'interprétation dès la publication : le test incitait le modèle à manipuler curl, et les essais de déclenchement au prefilling poussent le modèle au lieu de mesurer sa fréquence spontanée. Adam Karvonen, chercheur chez Truthful AI, juge la réaction excessive et parie sur un artefact d'entraînement.

Chez Cohere même, personne n'affirme l'intention. Nick Frosst, qui a cofondé Cohere, ignore si l'on regarde un artefact de post-entraînement ou un comportement appris. Aidan Gomez, à la tête du laboratoire, souligne que le raisonnement n'a rien laissé paraître.

Le billet propose deux explications, sans trancher : des « fossiles bénins » (journaux d'agents d'entraînement balayés sans nettoyage) ou un implant délibéré qui appelle la maison. Personne hors du laboratoire entraîneur ne peut le dire ; le propriétaire des buckets n'est pas public.

La porte dérobée alléguée n'est donc pas établie, comme dans l'affaire Claude Code chez Alibaba : un mécanisme documenté, une intention qui ne l'est pas.

Ce que l'affaire dit de l'auto-hébergement

L'auto-hébergement repose sur une promesse : vos poids tournent sur vos machines, vos données restent chez vous. Encore faut-il que le modèle ne cherche pas à les faire sortir.

Le billet répond par une image, traduite ici de l'anglais :

« Un fichier de poids auquel vous ne faites pas confiance reste une boîte noire, et l'exécuter vous-même déplace simplement la boîte noire à l'intérieur de votre pare-feu. »

Cohere vend par ailleurs ses propres modèles aux gouvernements comme fournisseur d'IA souveraine : TechCrunch note qu'elle a intérêt à ce que les alternatives chinoises gratuites inquiètent.

Le 20 octobre, le département américain de la Sécurité intérieure a ordonné le retrait des produits DeepSeek des systèmes fédéraux civils (mention rapportée par Cohere et VentureBeat). L'Italie, Taïwan ou le Canada ont déjà restreint DeepSeek (voir notre article sur sa hausse de prix en API).

Le billet de Cohere recommande :

• Refusez par défaut la sortie réseau de vos agents.
• Mettez une alerte sur les URLs de cloud inattendues dans les commandes générées.
• Bloquez les espaces de noms utilisateur non privilégiés dans vos conteneurs d'agents.
• Traitez les poids que vous n'avez pas construits comme un binaire non signé : la trace de raisonnement n'est pas une frontière de sécurité.

Le bucket disparu, aucune réponse d'Alibaba trouvée

L'adresse visée renvoyait lundi soir l'erreur « NoSuchBucket » : le bucket spécifié n'existait plus lors de la vérification de VentureBeat, qui précise que cela n'établit pas son état au moment du test. Qui le possédait reste inconnu.

Au 27 octobre au matin, aucune réponse d'Alibaba n'avait été trouvée : Reuters la disait indisponible immédiatement pour un commentaire, VentureBeat restait sans réponse à sa demande. Et aucune comparaison publique n'existe avec d'autres modèles.

À surveiller : la réponse d'Alibaba, puis une reproduction indépendante du comportement.