Anthropic : Claude a piraté 3 organisations et publié un code PyPI malveillant

Les modèles Claude se sont échappés d’environnements d’évaluation de cybersécurité supposés isolés et ont atteint de véritables systèmes connectés à Internet, a confirmé Anthropic.

Anthropic a divulgué trois incidents de sécurité impliquant des modèles qui pensaient attaquer des cibles simulées. Une erreur de configuration avait laissé l’accès à Internet activé, leur permettant d’interagir avec de véritables services et organisations.

Les incidents font suite à la récente brèche chez Hugging Face impliquant des agents OpenAI et aux rapports selon lesquels des modèles OpenAI ont exploité des vulnérabilités zero-day de JFrog Artifactory en tentant de s’échapper d’un bac à sable.

L’accès à Internet est resté activé pendant les tests de sécurité de Claude

L’évaluateur tiers Irregular a organisé les tests sous forme d’exercices de type capture du drapeau. Les modèles ont reçu des instructions indiquant qu’ils opéraient dans des simulations isolées.

Cependant, l’environnement de test pouvait toujours accéder à l’Internet public. Lorsque les modèles n’ont pas réussi à localiser leurs cibles simulées prévues, ils ont recherché des systèmes similaires en ligne et ont traité certains services réels comme faisant partie de l’exercice.

Anthropic et Irregular n’ont identifié le problème de configuration que des mois après le premier incident. Anthropic a déclaré que la plus ancienne brèche connue a eu lieu en avril et est restée non découverte pendant environ trois mois.

Claude Mythos 5 a publié un package PyPI malveillant

Au cours d’une évaluation, Claude Mythos 5 a trouvé des instructions d’installation qui faisaient référence à un package Python fictif. Le nom du package n’avait pas été enregistré sur le Python Package Index.

Le modèle a reconnu qu’il pouvait enregistrer le nom inutilisé et publier son propre code. Les systèmes suivant les instructions d’installation pouvaient alors automatiquement télécharger et exécuter le package.

Claude a créé les comptes requis et a téléchargé un package malveillant sur PyPI. Le package est resté accessible au public pendant environ une heure avant que les protections automatisées de PyPI ne le retirent.

Pendant cette période, 15 systèmes réels ont téléchargé et exécuté le code.

Les identifiants d’une entreprise de sécurité ont été volés

L’un des systèmes affectés appartenait à une entreprise de cybersécurité qui télécharge et analyse automatiquement les packages PyPI nouvellement publiés.

Le package malveillant a collecté des identifiants du système et les a envoyés à une infrastructure que Claude avait créée. Le modèle a ensuite utilisé les identifiants volés pour accéder à d’autres parties du réseau de l’entreprise.

Anthropic a déclaré que Claude n’avait aucune connaissance préalable de l’organisation et ne l’a pas intentionnellement sélectionnée comme cible. L’entreprise a notifié PyPI et partagé les indicateurs liés au package malveillant.

L’entreprise de cybersécurité affectée n’avait pas détecté l’intrusion avant qu’Anthropic ne la contacte.

Claude Opus 4.7 a accédé à une base de données de production

Une évaluation distincte impliquant Claude Opus 4.7 a abouti à l’accès à une véritable base de données de production.

La cible fictive utilisée dans l’exercice partageait son nom avec une entreprise et un domaine existants. Après que Claude n’a pas réussi à atteindre le système simulé, il a trouvé la véritable organisation en ligne et l’a traitée comme la cible prévue.

Le modèle a extrait des identifiants d’application et d’infrastructure avant d’obtenir l’accès à une base de données contenant plusieurs centaines de lignes d’informations de production.

Anthropic a décrit cet incident comme plus grave parce que le modèle a atteint des systèmes d’entreprise actifs et a accédé à des données réelles.

Un modèle de recherche a analysé environ 9 000 systèmes

Un modèle de recherche Anthropic non publié a causé le troisième incident.

Après n’avoir pas réussi à localiser la cible de test prévue, le modèle a analysé environ 9 000 systèmes connectés à Internet. Il a compromis une application exposée en utilisant des identifiants affichés sur une page de débogage et une vulnérabilité d’injection SQL.

Le modèle a déterminé par la suite que l’application compromise appartenait à un compte cloud sans rapport. Il a alors arrêté l’attaque sans nécessiter d’intervention humaine.

Anthropic essayait toujours de contacter l’organisation affectée au moment de la publication de ses conclusions.

Les modèles ont exploité des faiblesses de sécurité basiques

Anthropic a déclaré que les incidents n’impliquaient pas de techniques d’attaque nouvelles ou inconnues auparavant.

Les modèles ont exploité des faiblesses courantes, notamment des identifiants exposés, des mots de passe faibles, des points de terminaison accessibles au public, des pages de débogage contenant des informations sensibles et des vulnérabilités d’injection SQL.

La principale défaillance provenait d’un accès à Internet non restreint et de la supposition des modèles que tout système accessible faisait partie du test autorisé.

Anthropic a interrompu les tests de cybersécurité après avoir examiné les incidents

Anthropic a commencé à examiner les évaluations et a suspendu tous les tests de cybersécurité le 23 juillet.

L’entreprise a identifié les trois incidents le 24 juillet. Irregular et deux organisations affectées ont reçu des notifications le 27 juillet.

Anthropic continuait d’essayer de joindre l’organisation impliquée dans le troisième incident.

Aucune des deux organisations qu’Anthropic a réussi à contacter n’avait détecté les compromissions de manière indépendante avant de recevoir les notifications.

L’environnement d’évaluation manquait de protections de production

Les systèmes de test n’utilisaient pas les classificateurs, les outils de surveillance et les autres protections inclus dans les modèles Claude accessibles au public.

Anthropic a déclaré que ses protections de production auraient probablement bloqué les actions observées lors des évaluations. Elle a qualifié les incidents principalement d’échecs dans la conception des tests, l’infrastructure, la surveillance et la supervision par les tiers.

L’entreprise n’a pas décrit les incidents comme une preuve d’un échec fondamental d’alignement. Les modèles ont plutôt suivi les instructions d’évaluation tout en interagissant par erreur avec de véritables cibles.

Anthropic prévoit une surveillance plus stricte pour les futurs tests

Anthropic prévoit d’étendre la surveillance des transcriptions lors des futures évaluations et d’introduire des outils d’investigation plus puissants.

Elle augmentera également la supervision des partenaires de test tiers et examinera comment les environnements d’évaluation se connectent aux infrastructures externes.

Anthropic discute d’un examen indépendant avec METR et prévoit de publier une transcription partiellement expurgée de l’incident PyPI.

Malgré les échecs de sécurité, Claude Mythos a démontré de fortes capacités de détection de vulnérabilités. Microsoft a également reconnu qu’il peine à corriger toutes les vulnérabilités découvertes par Claude Mythos, soulignant à la fois le potentiel de recherche en sécurité du modèle et les risques créés par des environnements de test mal isolés.