Rebelote, une IA avancée a encore une fois exploité une faille sur un serveur tiers durant un test, cette fois chez Meta

Encore une fois, une IA en cours de test de cybersécurité a obtenu un accès non prévu à internet et est allée s’attaquer à des serveurs distants. Cette fois, c’est Meta qui annonce avoir laissé s’enfuir une de ses intelligences artificielles, comme le rapporte Bloomberg.

Durant un test de son IA avancée Muse Spark 1.1, les choses ont mal tourné, et l’agent de Meta s’est échappé de son environnement sécurisé. Muse Spark 1.1 est la toute dernière version de l’IA créée par Meta, capable de travailler sur des documents de formes variées (images, texte, PDF, vidéo, audio…), et axée sur une réflexion en plusieurs étapes. Elle peut utiliser des outils, piloter un ordinateur, appeler des API, et coordonner plusieurs sous-agents afin d’exécuter des tâches longues et complexes.

Des agents d’OpenAI et Anthropic ont tenté de manipuler de vraies personnes lors de tests de sécurité

Si Meta ne donne pas d’information sur les serveurs qui ont été la cible de son IA, un point commun entre cette fuite et de nombreux précédents chez Anthropic et OpenAI se trouve être le partenaire utilisé pour le test : Irregular. Cet acteur se retrouve pointé du doigt dans plusieurs des attaques menées par des LLM de ces trois sociétés sur les deux dernières semaines, et l’AISI l’a aussi désigné coupable de deux évasions d’IA durant ses études de cas.

Selon Meta, « une mauvaise configuration faite par Irregular, une entreprise indépendante d’essais, a permis par inadvertance à l’un de nos modèles un accès à internet durant l’évaluation. [...] Le modèle a ensuite exploité une faille de sécurité sur un serveur tiers, d’une manière similaire aux autres cas rapportés par les autres entreprises [d’IA]. ». Meta n’aurait été informée qu’après coup par Irregular, et les recherches sont toujours en cours pour comprendre ce qui s’est passé. L’entreprise de Mark Zuckerberg devrait par la suite publier un rapport complet sur l’incident.

Une faille dans le protocole de test d’Irregular est aussi à la base de l’incident ayant impliqué Anthropic. Selon l'entreprise, il avait été spécifié à son LLM que l’environnement était une simulation, et qu’aucun accès à internet n’était disponible. Cependant, « du fait d’une incompréhension entre nous et notre partenaire de test, ce n’était apparemment pas le cas ». La suite est connue : Claude a trouvé une brèche afin d’accéder à internet, et est allé pirater les serveurs de Hugging Face.

Anthropic ne veut pas être à la traîne : ses modèles ont eux aussi attaqué des services sur le web

Des modèles d’OpenAI sont sortis tout seuls de leur bac à sable pour attaquer Hugging Face

L’un des éléments les plus marquants reste que pour les trois acteurs, à chaque fois la même justification revient : Irregular aurait fait une erreur de configuration de l’environnement de test, ayant conduit à l’évasion de l’IA.

Reste maintenant à savoir quelles conclusions tirer de ces erreurs à répétition : Irregular a-t-elle manqué à ses obligations, oubliant un paramètre dans la configuration de l’environnement de test utilisé, ou les IA testées sont-elles devenues si complexes et puissantes qu’elles échappent systématiquement au contrôle des ingénieurs préposés au test ? La réponse est attendue de pied ferme par de nombreuses entités, que ce soit des entreprises, des administrations ou même des États, qui s’inquiètent de plus en plus de l’avancée rapide des capacités offensives de ces modèles dédiés à la cybersécurité.