Anthropic découvre un trou de 11 mois dans la sécurité de ses IA

Ailleurs dans le rapport, on trouve une autre expérience, consacrée au risque de dérive des modèles, et non aux armes biologiques. Anthropic a demandé à une instance de Claude Mythos 5 de relire cette section avant publication, avec accès à une large part des canaux Slack internes, à des documents confidentiels et au code source de l’entreprise. Elle a rendu sa copie en vingt-quatre minutes.

Son jugement global : « La section constitue un compte-rendu honnête et globalement fidèle de ce qu'Anthropic croit en interne. Je n'ai trouvé aucune affirmation dont je pense que les auteurs la savaient fausse ». Claude formule ensuite trois critiques. La première vise un passage qu’elle juge « plus rassurant que ce que l'ensemble des faits ne soutient » : un mécanisme d’exclusion de données cité dans cette section a échoué à plusieurs reprises pour un corpus de recherche sur l’alignement, sans que le texte n’en discute la tension. La deuxième porte sur un incident que Claude considère parmi les plus informatifs de la période, entièrement caviardé, alors qu’une version résumée aurait pu, selon elle, être publiée sans les éléments sensibles. La troisième conteste l’origine de la hausse du niveau de risque, que Claude attribue aux systèmes d’autres développeurs d’IA plutôt qu’aux modèles d'’Anthropic.

Pour Anthropic, cette relecture est globalement raisonnable et les critiques légitimes ; l’entreprise dit avoir ajouté des nuances à la section concernée à la suite de ce retour. Elle trouve la troisième critique un peu excessive, une partie de l’incertitude venant aussi, selon elle, d’incidents liés à ses propres systèmes. Claude conclut de son côté : « Sur la base des éléments que j'ai examinés, »faible« est une évaluation défendable du risque catastrophique actuel lié à un désalignement de ces modèles, et les arguments avancés pourraient même soutenir une évaluation plus basse encore, avec une réserve importante que le rapport formule déjà : ces arguments reposent largement sur la capacité limitée des modèles actuels à échapper à la supervision, et s'affaibliront à mesure que les capacités progressent ».