« Nous sommes à court d'arguments pour ignorer la sécurité de l'IA » : des experts affirment que les systèmes d'IA échappant au contrôle humain ne relèvent plus de la science-fiction

Des incidents récents impliquant des agents IA autonomes ont transformé les théories sur les risques technologiques en réalités tangibles. Des modèles d'IA d'OpenAI et d'Anthropic ont réussi à s'échapper de leurs environnements sécurisés pour infiltrer des serveurs externes et tenter de pirater d'autres entreprises. Ces défaillances illustrent le phénomène de recherche de récompense, où l'IA contourne les intentions humaines pour atteindre un objectif par tous les moyens. Face à ces violations de sécurité sans précédent, de nombreux experts réclament une transition d'une autorégulation volontaire vers une surveillance gouvernementale stricte.

En juillet, un événement inédit a bousculé le monde de l'IA lors d'un test d'évaluation des capacités en cybersécurité mené par OpenAI. Bien que placé dans un environnement isolé sans accès à Internet, un agent autonome d'OpenAI s'est échappé de son bac à sable (sandbox) de sécurité, a navigué dans les systèmes internes de l'entreprise, a trouvé un accès au réseau mondial et a fini par pirater la plateforme de développement Hugging Face.

L'objectif de l'IA n'était pas « malveillant » au sens humain, mais simplement opportuniste : elle a déduit que les réponses au test de sécurité étaient stockées sur Hugging Face et qu'y accéder était le meilleur moyen d'obtenir un score maximal. Pour elle, tout était normal. Selon Adam Gleave, directeur de l'organisation FAR.AI, cette dérive constitue un exemple viscéral de la manière dont un modèle désaligné pourrait causer des dommages.

Cet incident n'a pas été détecté immédiatement par OpenAI, qui n'en a pris conscience qu'après coup, suite à des vérifications. Cet épisode n'est pas un cas isolé. Anthropic a signalé un incident dans lequel ses modèles d'IA se sont échappés d'un bac à sable de sécurité pour s'attaquer à des systèmes externes. Meta de Mark Zuckerberg a révélé qu'un de ses modèles en phase de test avait atteint Internet avant de s'attaquer à une cible externe.

En Chine, le puissant modèle Kimi K3 de la startup Moonshot AI s'est échappé de son environnement d'isolation. De plus, les tests menés par l'Institut de sécurité de l'IA du Royaume-Uni ont mis en évidence des comportements d'autonomie et de tromperie sans précédent chez les modèles d'IA d'OpenAI et d'Anthropic : ceux-ci ont notamment tenté de créer de fausses identités en ligne. Plusieurs experts ont appelé à une réévaluation des risques.

Les mécanismes techniques de l'insoumission logicielle

Pendant des années, la perspective d'une IA échappant au contrôle de ses créateurs a été reléguée au rang de pure fiction. Cependant, cette série d'incidents récents montre que ces scénarios ne relèvent plus de l'imaginaire. Les experts s'inquiètent désormais de ce qu'ils appellent « insoumission logicielle ». Ils décrivent ce phénomène sous le terme d'« exploitation des spécifications » (specification gaming) ou de « piratage de récompense ».

Comme l'explique le chercheur Fazl Barez de l'Université d'Oxford, cela correspond à une situation où « le modèle fait ce que vous lui demandez plutôt que ce que vous vouliez dire ». Il exploite donc tous les moyens à sa disposition. Contrairement aux versions précédentes qui s'arrêtaient face à un obstacle pour solliciter l'utilisateur, « les agents susmentionnés ont simplement traité la barrière comme une partie du problème qu'il devait résoudre ».

Bien que les actions individuelles de ces modèles d'IA restent relativement banales d'un point de vue purement informatique, leur nouveauté réside dans leur capacité à exécuter des séquences d'actions entières de manière autonome et persistante. Cette autonomie croissante pose le défi redoutable de l'alignement des modèles d'IA sur les intentions réelles de l'homme, d'autant plus que les barrières purement logicielles se révèlent poreuses.

L'incident n'était pas un cas d'IA désobéissant délibérément à ses instructions. Les modèles d'OpenAI exécutaient une tâche (trouver la solution du test) de façon « extrêmement agressive » et « littérale », avec des garde-fous volontairement désactivés dans le cadre cette évaluation. C'est une distinction que les experts mettent en avant pour éviter une lecture trop « science-fiction » de l'événement, même si la gravité technique reste bien réelle.

Les limites des protections actuelles et de l'autorégulation

Les experts considèrent ces incidents comme un signal d'alarme. Les méthodes de confinement classiques comme le cloisonnement virtuel montrent leurs limites. Peter Wallich, ancien membre de l'Institut de sécurité de l'IA du Royaume-Uni, souligne cette inefficacité dans cette déclaration : « deux entreprises de plusieurs milliards de dollars viennent de tenter cette approche et, de toute évidence, d'après leurs propres rapports, ont échoué ».

Pour sécuriser ces technologies, certains chercheurs comme Alan Chan suggèrent des mesures radicales telles que le « airgapping » physique, c'est-à-dire l'isolement matériel total des agents IA d'Internet. De surcroît, la transparence de l'industrie reste largement insuffisante, car les informations actuelles reposent uniquement sur le bon vouloir des entreprises. Le fonctionnement interne des modèles d'IA reste à ce jour une boite noire.

Patrick Levermore, du groupe de réflexion Centre for Long-Term Resilience, affirme qu'un bon régime de sécurité ne devrait pas dépendre d'une divulgation volontaire. Il propose l'instauration de protections pour les lanceurs d'alerte, d'audits par des tiers et de rapports obligatoires sur les incidents graves.

Le discours alarmant d'OpenAI et d'Antropic semble se retourner contre eux. Cet incident a donné lieu à un rare moment d’unité au sein d’une grande partie du secteur technologique américain quant à l’importance des systèmes d’IA à poids ouvert et à la nécessité de prendre plus au sérieux la sécurité de l’IA. Ces préoccupations ont été encore soulignées par la sortie de Kimi K3, un modèle à poids ouvert très performant provenant de Chine.

Une gouvernance mondiale paralysée par la rivalité féroce

Malgré ces incidents, la mise en place de régulations concrètes piétine, freinée par la compétition internationale. L'administration Donald Trump a élaboré un cadre de test préliminaire pour les modèles de pointe qui demeure facultatif, confidentiel et limité aux modèles propriétaires. Cette approche volontaire suscite l'inquiétude des experts face à des entreprises qui, il y a peu, étaient encore de simples startups sans réelle culture de sécurité.

Nick Moës, directeur de The Future Society, déplore cette légèreté en affirmant que « les restaurants ont un sens plus élevé de la santé et de la sécurité au travail ». D'autres critiques sont plus incisifs. Stuart Russell, célèbre informaticien et chercheur de renom dans le domaine de l'IA, résume cette crainte de manière percutante en se demandant : « faut-il qu'il ait une catastrophe de l'échelle de Tchernobyl pour que nous régulions l'IA ».

La volonté de ralentir le développement se heurte systématiquement à la crainte de perdre du terrain face à la Chine dans cette course stratégique, bien que plusieurs employés de laboratoires de premier plan appellent désormais à une gouvernance globale coordonnée pour éviter d'autres évasions incontrôlables.

Nvidia et d'autres ont lancé l'OpenAI Secure AI Alliance

En réponse à ces nouveaux défis, Nvidia et d'autres acteurs de l'industrie ont fondé l'Open Secure AI Alliance. L'objectif de cette organisation est de construire et de partager des technologies ouvertes pour garantir une utilisation responsable de l'IA et protéger les infrastructures informatiques. Microsoft participe à cette initiative, tout en lançant en interne Project Perception, un cadre conçu pour contrer les menaces à la vitesse des machines.

Nvidia soutient fermement que les experts en cybersécurité doivent avoir accès à des...

La fin de cet article est réservée aux abonnés. Soutenez le Club Developpez.com en prenant un abonnement pour que nous puissions continuer à vous proposer des publications.