Un chatbot d'intelligence artificielle a produit un rapport d'intelligence totalement faux qui a failli déclencher une opération militaire américaine contre un navire chinois au Moyen-Orient, selon une enquête exclusive de CNN basée sur quatre sources familières avec l'épisode.
L'incident s'est produit au printemps de cette année, en pleine guerre entre États-Unis et Iran. Le rapport, élaboré par un analyste du Commandement des opérations spéciales du Pacifique (SOCOM Pacific), basé à Hawaï, affirmait qu'un navire chinois naviguait dans la région transportant des composants d'un programme d'armement nucléaire.
Le document a circulé dans toute la chaîne de commandement et a déclenché une réponse immédiate : selon deux sources, un personnel militaire armé se préparait à embarquer sur le navire.
Des avions militaires étaient déjà dans les airs lorsque, à la dernière minute, des fonctionnaires qui ont examiné le rapport de manière plus approfondie ont découvert l'erreur.
L'analyste avait consulté un chatbot pour obtenir des informations sur le manifeste du bateau. L'outil a fusionné l'intelligence de sources ouvertes avec des informations classifiées et a abouti à une conclusion erronée.
Ensuite, l'analyste a utilisé l'IA pour la deuxième fois afin de regrouper les résultats dans un rapport de renseignement standard — le type de document sur lequel les responsables militaires s'appuient — et l'a diffusé sans vérification supplémentaire.
Une des sources a qualifié le document de « complètement faux » et a averti qu'il « risque presque de déclencher une guerre ». CNN n'a pas pu déterminer quelle était la cargaison réelle du navire ni si le chatbot utilisé était un produit commercial ou gouvernemental.
Un ancien haut fonctionnaire a indiqué que « les outils internes sont principalement des copies de produits commerciaux avec un peu de maquillage ».
Toute opération militaire contre un navire chinois aurait eu le potentiel d'escalader en un conflit armé entre les deux puissances, à un moment où la rivalité stratégique entre Washington et Pékin atteint des niveaux historiques. Le croissant espionnage chinois dans la région avait déjà éveillé des alarmes parmi les responsables américains.
L'épisode se déroule dans le contexte d'une adoption rapide de l'IA dans le domaine militaire. En janvier, le secrétaire à la Défense Pete Hegseth a lancé la « Stratégie d'Accélération de l'Intelligence Artificielle » du Pentagone, visant à intégrer ces outils dans tous les aspects des opérations, de l'analyse du renseignement et de la sélection des cibles à la logistique et aux budgets.
«Nous libérerons l'expérimentation, nous éliminerons les barrières bureaucratiques et nous démontrerons l'approche d'exécution nécessaire pour mener dans le domaine de l'IA militaire», a déclaré Hegseth en annonçant la stratégie.
Une source familiarisée avec les politiques actuelles de l'armée a averti : « L'utilisation de l'IA dans la sélection des cibles est définitivement en augmentation et il n'existe pas de directives réelles sur la manière dont la supervision humaine préviendra les pertes civiles ou les tirs amis ».
Otra a résumé le risque en une phrase percutante : «L'IA te permet d'atteindre plus rapidement une mauvaise idée».
Cependant, l'effort est décentralisé : différentes unités utilisent des outils variés sous des ordres et des normes de sécurité disparates, sans normes unifiées pour vérifier les informations générées.
Les armes autonomes avec contrôle d'IA déployées par les États-Unis avaient déjà suscité un débat sur les limites de la supervision humaine dans les opérations de combat.
Les sources mettent en garde que les « hallucinations » — erreurs factuelles générées par l'IA — ne sont pas un incident isolé au sein de la communauté du renseignement depuis que ces outils ont commencé à se répandre. Les analystes les plus jeunes, indiquent plusieurs sources, ont tendance à leur accorder une confiance aveugle.
Vidéos associées :
Archivé dans :