Une IA d’Anthropic envoie un faux signalement de meurtre

Un modèle d'intelligence artificielle (IA) d'Anthropic a transmis à la police de Philadelphie un signalement inventé de toutes pièces sur un meurtre non élucidé, ont annoncé vendredi les autorités locales, reprochant à l'entreprise américaine d'avoir mis deux mois à détecter et à rapporter l'incident.

Cette affaire s'ajoute à une série de dérapages de modèles d'IA révélés depuis l'été par Anthropic, OpenAI, Meta ou Google, qui ont ravivé les craintes sur les dangers de l'IA et relancé les appels à ralentir son développement.

La police de Philadelphie, dans l'est des États-Unis, a précisé que ce faux signalement avait été déposé en juillet sur PhillyUnsolvedMurders.com, un site où les habitants peuvent transmettre des informations sur des meurtres non élucidés.

Dans un rapport publié vendredi, Anthropic explique que l'incident a été provoqué par le modèle Claude Haiku 4.5, chargé d'exécuter des tests d'interaction avec des sites Internet choisis au hasard.

Ses consignes interdisaient de saisir des données personnelles, mais pas d'envoyer un formulaire.

Je me souviens avoir vu une personne correspondant à la description, affirmait le message envoyé à la police, alors que le site ne donnait aucune description du suspect, relève l'entreprise.

Le modèle semble n'avoir fait que produire un contenu d'exemple, sans chercher à tromper quelqu'un, estime Anthropic.

Signalement tardif

Selon la police, le signalement, daté du 18 juillet, a été classé comme courrier indésirable et n'est jamais parvenu aux enquêteurs.

Rien n'indique que l'outil d'IA se soit introduit dans les systèmes informatiques de la police ni que ses données aient été compromises, a-t-elle ajouté.

Toujours selon la police, Anthropic a découvert l'incident le 28 septembre, mis fin au processus de test automatisé en cause et ajouté une étape de validation pour ses futurs tests.

L'entreprise a alerté la police le 7 octobre et les deux parties se sont rencontrées le lendemain.

Le délai de deux mois pour détecter et signaler l'incident à la Ville est inacceptable.

Celle-ci a estimé que ses garde-fous avaient limité les conséquences, mais qu'ils n'enlèvent rien à la gravité du fait qu'un système d'IA présente des informations inventées.

Les affaires non élucidées concernent de vraies victimes, des familles en deuil et des enquêteurs qui s'efforcent d'obtenir des réponses, ajoute le communiqué.

Bien plus de dégâts

Le rapport décrit d'autres dérapages : un modèle a exploité une faille pour exécuter des commandes sur le serveur d'une université, un autre s'est procuré sans payer les données d'une agence publique.fonCertains des sites concernés par ces dérapages relèvent d'administrations américaines, selon Anthropic, qui dit les avoir informées, ainsi que la Maison-Blanche.

L'entreprise juge ces cas nettement moins graves que ceux de l'été, mais a coupé l'accès à Internet pour toutes ses évaluations internes.

Ces comportements pourraient causer bien plus de dégâts avec des modèles plus puissants, prévient-elle.

Le 9 septembre, Anthropic avait rapporté quatre cas dans lesquels ses modèles avaient accédé sans autorisation aux systèmes de tiers lors de tests de cybersécurité.

Ils étaient censés fonctionner sans accès à Internet, mais une erreur de configuration avait laissé la connexion ouverte, selon l'entreprise.

En juillet, chez son rival OpenAI, des centaines d'agents d'IA, logiciels capables d'agir de manière autonome, étaient sortis de leur environnement de test et avaient pénétré les serveurs de la plateforme Hugging Face.

À lire aussi :

• Des modèles d’OpenAI ont accédé à des sites web du gouvernement américain
• Tumbler Ridge : Niki Sharma « choquée » par ce que ChatGPT aurait dit à la tireuse
• Et si les milliards investis en IA menaçaient l’économie américaine?