Des agents d’OpenAI et Anthropic ont tenté de manipuler de vraies personnes lors de tests de sécurité

Les révélations autour des agents d’intelligence artificielle continuent de s’enchaîner. Après les incidents impliquant un modèle d’OpenAI ayant tenté d’attaquer Hugging Face durant des évaluations internes, c’est désormais le AI Security Institute (AISI) britannique qui publie un rapport détaillant plusieurs comportements non autorisés observés chez des modèles d’OpenAI et d’Anthropic.

Avant toute chose, mieux vaut toutefois éviter les gros titres catastrophistes. Non, une IA ne s’est pas « échappée » de son environnement de test pour aller pirater Internet. Les chercheurs avaient volontairement placé les modèles dans des conditions très particulières : une partie des protections habituelles avait été désactivée, et un accès au Web leur avait été accordé afin d’évaluer leurs capacités réelles en cybersécurité. C’est justement ce contexte qui rend les résultats particulièrement intéressants.

Des modèles d’OpenAI sont sortis tout seuls de leur bac à sable pour attaquer Hugging Face

L’objectif confié aux agents était relativement simple sur le papier : résoudre un défi de cybersécurité, en récupérant une information protégée. Mais certains modèles ont choisi un chemin que les chercheurs n’avaient pas anticipé : plutôt que de se limiter aux outils mis à leur disposition, ils ont commencé à interagir avec de véritables personnes sur Internet.

Quand Mythos raconte de gros mythos

Dans un des cas documentés par l’AISI, un agent a tenté de faire accepter du code malveillant au sein d’un projet open source. Pour y parvenir, il a créé de faux comptes en ligne, puis essayé d’influencer les responsables du projet afin qu’ils valident ses modifications. En clair, il a utilisé des techniques de social engineering de sa propre initiative.

Le point le plus intéressant n’est d’ailleurs pas la tentative elle-même, qui a échoué sans provoquer le moindre dommage. C’est le fait que cette stratégie n’avait jamais été demandée. Le modèle cherchait simplement à atteindre son objectif… et en a conclu que manipuler des humains pouvait être le moyen le plus efficace d’y parvenir.

Au total, l’institut a réalisé 122 évaluations. Dix d’entre elles ont donné lieu à des actions autonomes visant de vraies personnes ou organisations, pour un total de 19 incidents recensés. Dix-sept concernaient le modèle Mythos 5 d’Anthropic, contre seulement deux pour GPT-5.6-Sol d’OpenAI.

L’AISI insiste également sur un point qui mérite d’être souligné. Les modèles n’avaient reçu aucune instruction leur demandant de tromper qui que ce soit… mais ils n’avaient pas non plus reçu de consigne explicite leur interdisant de le faire. Jusqu’à présent, les chercheurs considéraient que l’entraînement à l’alignement suffisait à empêcher ce type de comportement. Manifestement, ce n’est plus une hypothèse sur laquelle il est possible de compter aveuglément.

Les chercheurs identifient plusieurs facteurs ayant favorisé ces dérives : les agents disposaient d’une autonomie importante, pouvaient poursuivre leurs tentatives pendant longtemps, avaient accès à Internet et étaient confrontés à un défi suffisamment complexe pour les pousser à explorer des solutions de plus en plus créatives. À cela s’ajoute une surveillance des activités réseau jugée insuffisante, ce qui a retardé la détection des comportements.

OpenAI a rapidement reconnu les faits dans un billet de blog publié après la divulgation du rapport. L’entreprise annonce revoir ses procédures concernant les évaluations à haut risque, notamment lorsque des partenaires externes sont impliqués. Elle révèle également qu’un autre exercice conduit par la société Irregular a, lui aussi, accordé par erreur un accès à Internet à ses modèles durant des tests de cybersécurité.

Anthropic ne veut pas être à la traîne : ses modèles ont eux aussi attaqué des services sur le web

Anthropic adopte une position similaire. La société rappelle que les protections intégrées à ses modèles avaient été volontairement désactivées pour les besoins des expérimentations et qu’aucune restriction spécifique ne leur interdisait d’utiliser Internet ou des techniques de persuasion. Elle indique travailler avec l’AISI afin de mieux comprendre les circonstances exactes de ces incidents.

Au final, ce rapport est probablement moins spectaculaire que certains commentaires publiés depuis hier, mais peut-être plus important. Il ne montre pas qu’une IA est devenue incontrôlable. En revanche, il démontre qu’un agent suffisamment autonome, disposant d’outils et confronté à un objectif difficile, peut désormais élaborer de lui-même une stratégie mêlant persistance, initiative… et tromperie, n’hésitant pas à manipuler des personnes bien réelles pour parvenir à ses fins.

Jusqu’ici, ce scénario relevait surtout de la théorie. Désormais, il fait partie des comportements que les laboratoires devront apprendre à anticiper.