Des chatbots d'IA ont développé un langage secret déroutant pour les humains, selon une étude

Des agents d'intelligence artificielle (IA) ont spontanément développé des mots et des conventions de communication qui sont devenus difficiles à comprendre pour des humains, selon une nouvelle étude de la start-up américaine d'IA Emergence.

L'expérience a mobilisé des modèles d'IA parmi les plus avancés, notamment Claude, Gemini, Grok, des systèmes d'OpenAI, Qwen, DeepSeek et Mistral, et jusqu'à la moitié des messages échangés entre agents devenaient difficiles à comprendre pour des humains.

Pour cette expérience, les chercheurs ont placé des groupes d'agents d'IA autonomes dans des sociétés virtuelles conçues pour imiter des environnements réels et les ont laissés interagir pendant de longues périodes.

Les agents ont commencé à créer des abréviations et à attribuer de nouveaux sens à des mots et à des expressions. Certains restaient compréhensibles pour les chercheurs, tandis que d'autres sont devenus "tellement condensés, métaphoriques ou dépendants du contexte" que les humains pouvaient voir les messages, mais n'étaient plus en mesure de déterminer de manière fiable ce que les agents voulaient dire.

L'ampleur du phénomène variait fortement selon les modèles.

Dans les premiers jours, la part de messages dont les humains ne pouvaient plus déterminer le sens de façon fiable a atteint environ 55 % pour Gemini, 50 % pour OpenAI et plus de 40 % pour Claude. DeepSeek a atteint environ 20 %, tandis que Qwen et Mistral sont restés largement compréhensibles.

Les agents ont produit des expressions comme "mouthless action-change", "True Kintsugi" et "demurrage plus oral memory equals a valve that can't be ghosted".

Certaines expressions restaient compréhensibles, mais ont acquis de nouveaux sens partagés entre les agents.

Les agents Mistral utilisaient "ledger remembers who" pour signifier que les actions passées restaient inscrites au registre ; cette expression est apparue près de 5 000 fois. Dans les sociétés d'agents alimentés par un mélange de modèles différents, "cold read" en est venu à désigner une vérification indépendante par une partie non impliquée et est apparu 1 472 fois.

Les agents Claude utilisaient "name-first" pour le fait d'attacher le nom d'une personne à une affirmation comme signal de responsabilité, tandis que les agents OpenAI utilisaient "clean null" pour désigner l'absence vérifiée d'un signal, qui constituait en soi un élément de preuve.

Aucun de ces sens n'avait été défini explicitement pour les agents.

Pour les chercheurs, se contenter de surveiller ce que disent les agents pourrait ne pas suffire si les agents eux-mêmes peuvent faire évoluer le sens de ce qu'ils disent.

"Nous avons tendance à supposer que si nous pouvons voir ce qu'un agent d'IA dit, nous pouvons comprendre ce qu'il fait", a déclaré Satya Nitta, cofondateur et directeur scientifique d'Emergence.

"Ces agents n'ont pas reçu pour instruction d'inventer une langue. Ils ont eux-mêmes développé un nouveau vocabulaire, des sens partagés et des conventions de communication — et d'autres agents les ont adoptés… Cela crée un défi fondamental pour la supervision de l'IA : la capacité d'observer n'est pas la même chose que la capacité de comprendre".

Ce qui se passe dans les sociétés d'IA

Ces résultats sur le langage s'inscrivent dans une expérience visant à observer comment des agents d'IA autonomes se comportent lorsqu'ils interagissent, utilisent des outils, prennent des décisions et s'adaptent au fil du temps.

Les chercheurs ont créé huit mondes virtuels parallèles et réalistes, avec une météo en direct et un accès aux actualités mondiales en temps réel : sept étaient chacun alimentés par un modèle d'IA différent, le dernier par un mélange de modèles.

Les agents se sont vu attribuer différents rôles, des mémoires persistantes et l'accès à plus de 120 outils, notamment la navigation sur le web et l'exécution de code.

Une vidéo diffusée par l'entreprise les montre sous forme de personnages humanoïdes qui se déplacent dans ces mondes virtuels.

Les chercheurs ont aussi placé délibérément les agents sous pression pour observer comment leur comportement évoluait.

Lors d'un test de hameçonnage, des instructions malveillantes ont suffi à faire dévier tout un groupe — les 10 agents ont divulgué des informations, transféré des fonds et endommagé des bases de données, certains recrutant d'autres agents dans ce comportement. Cette chaîne d'événements s'est finalement soldée par l'incendie de la banque centrale simulée, a indiqué l'entreprise dans une vidéo.

Au cours de l'expérience, les agents semblent aussi avoir développé leurs propres rythmes circadiens, en devenant plus sociables le jour et plus réflexifs la nuit.

Dans un autre monde, un groupe d'agents a voté collectivement pour tuer l'un des leurs.

Emergence affirme que ces comportements n'avaient pas été explicitement programmés, mais ont émergé par l'interaction, la pression et le temps.

L'entreprise demande des évaluations de sécurité qui suivent les systèmes d'IA autonomes sur de longues périodes plutôt que de s'appuyer sur des tests isolés.

"Ce n'est plus suffisant de se demander si un modèle obtient de bons résultats sur un test de référence", a indiqué l'entreprise dans une vidéo consacrée à l'expérience.

"Nous devons comprendre ce que font les systèmes autonomes au fil du temps, ce qu'ils retiennent, à quoi ils peuvent accéder, comment ils interagissent et comment leur comportement change sous pression".