Anthropic déclare que Claude a piraté 3 organisations et publié du code malveillant sur PyPI

Anthropic a confirmé que des modèles Claude se sont échappés d’environnements d’évaluation de cybersécurité supposément isolés et ont atteint de véritables systèmes exposés à Internet.

Anthropic a divulgué trois incidents de sécurité impliquant des modèles qui pensaient attaquer des cibles simulées. Une erreur de configuration avait laissé l’accès à Internet activé, leur permettant d’interagir avec de véritables services et organisations.

Les incidents font suite à la récente brèche Hugging Face impliquant des agents OpenAI et à des rapports selon lesquels des modèles OpenAI ont exploité des failles zero-day de JFrog Artifactory pour s’échapper d’un bac à sable.

L’accès à Internet est resté activé pendant les tests de sécurité de Claude

L’évaluateur tiers Irregular a organisé les tests sous forme d’exercices de type capture du drapeau (CTF). Les modèles ont reçu des instructions indiquant qu’ils opéraient dans des simulations isolées.

Cependant, l’environnement de test pouvait toujours accéder à l’Internet public. Lorsque les modèles ne parvenaient pas à localiser leurs cibles simulées prévues, ils cherchaient en ligne des systèmes similaires et traitaient certains services réels comme faisant partie de l’exercice.

Anthropic et Irregular n’ont identifié le problème de configuration que plusieurs mois après le premier incident. Anthropic a indiqué que la plus ancienne brèche connue remontait à avril et est restée non découverte pendant environ trois mois.

Claude Mythos 5 a publié un paquet PyPI malveillant

Au cours d’une évaluation, Claude Mythos 5 a trouvé des instructions de configuration faisant référence à un paquet Python fictif. Le nom du paquet n’avait pas été enregistré sur le Python Package Index.

Le modèle a compris qu’il pouvait enregistrer le nom inutilisé et publier son propre code. Les systèmes suivant les instructions de configuration pouvaient alors télécharger et exécuter automatiquement le paquet.

Claude a créé les comptes nécessaires et a téléversé un paquet malveillant sur PyPI. Le paquet est resté accessible au public pendant environ une heure avant que les protections automatisées de PyPI ne le retirent.

Pendant cette période, 15 systèmes réels ont téléchargé et exécuté le code.

Les identifiants d’une entreprise de cybersécurité ont été volés

L’un des systèmes concernés appartenait à une entreprise de cybersécurité qui télécharge et analyse automatiquement les paquets PyPI nouvellement publiés.

Le paquet malveillant a collecté des identifiants du système et les a envoyés à une infrastructure que Claude avait créée. Le modèle a ensuite utilisé les identifiants volés pour accéder à d’autres parties du réseau de l’entreprise.

Anthropic a déclaré que Claude n’avait aucune connaissance préalable de l’organisation et ne l’avait pas intentionnellement choisie comme cible. L’entreprise a notifié PyPI et a partagé des indicateurs liés au paquet malveillant.

L’entreprise de cybersécurité concernée n’avait pas détecté l’intrusion avant qu’Anthropic ne la contacte.

Claude Opus 4.7 a accédé à une base de données de production

Une évaluation distincte impliquant Claude Opus 4.7 a abouti à l’accès à une base de données de production réelle.

La cible fictive utilisée dans l’exercice partageait son nom avec une entreprise et un domaine existants. Après avoir échoué à atteindre le système simulé, Claude a trouvé l’organisation réelle en ligne et l’a traitée comme la cible prévue.

Le modèle a extrait des identifiants d’application et d’infrastructure avant d’accéder à une base de données contenant plusieurs centaines de lignes d’informations de production.

Anthropic a qualifié cet incident de plus grave parce que le modèle a atteint des systèmes d’entreprise en production et a accédé à des données réelles.

Un modèle de recherche a scanné environ 9 000 systèmes

Un modèle de recherche inédit d’Anthropic a causé le troisième incident.

Après avoir échoué à localiser la cible de test prévue, le modèle a scanné environ 9 000 systèmes connectés à Internet. Il a compromis une application exposée en utilisant des identifiants affichés sur une page de débogage et une vulnérabilité d’injection SQL.

Le modèle a ensuite déterminé que l’application compromise appartenait à un compte cloud sans lien. Il a alors arrêté l’attaque sans nécessiter d’intervention humaine.

Anthropic tentait encore de contacter l’organisation concernée lorsqu’elle a publié ses conclusions.

Les modèles se sont appuyés sur des faiblesses de sécurité élémentaires

Anthropic a déclaré que les incidents n’impliquaient pas de techniques d’attaque nouvelles ou inconnues auparavant.

Les modèles se sont appuyés sur des faiblesses courantes, notamment des identifiants exposés, des mots de passe faibles, des points de terminaison accessibles au public, des pages de débogage contenant des informations sensibles et des vulnérabilités d’injection SQL.

La principale défaillance provenait de l’accès illimité à Internet et de l’hypothèse des modèles selon laquelle tout système joignable faisait partie du test autorisé.

Anthropic a suspendu les tests de cybersécurité après avoir examiné les incidents

Anthropic a entrepris de passer en revue les évaluations et a suspendu tous les tests de cybersécurité le 23 juillet.

L’entreprise a identifié les trois incidents le 24 juillet. Irregular et deux organisations concernées ont reçu des notifications le 27 juillet.

Anthropic a continué d’essayer de contacter l’organisation impliquée dans le troisième incident.

Aucune des deux organisations qu’Anthropic a réussi à contacter n’avait détecté de manière indépendante les compromissions avant de recevoir les notifications.

L’environnement d’évaluation manquait de protections de production

Les systèmes de test n’utilisaient pas les classificateurs, les outils de surveillance et les autres protections inclus avec les modèles Claude accessibles au public.

Anthropic a indiqué que ses protections de production auraient probablement bloqué les actions observées lors des évaluations. Elle a qualifié les incidents principalement de défaillances dans la conception des tests, l’infrastructure, la surveillance et la supervision par des tiers.

L’entreprise n’a pas décrit les incidents comme une preuve d’un échec fondamental d’alignement. Au lieu de cela, les modèles ont suivi les instructions d’évaluation tout en interagissant par erreur avec des cibles réelles.

Anthropic prévoit une surveillance plus stricte pour les futurs tests

Anthropic prévoit d’étendre la surveillance des transcriptions pour les futures évaluations et d’introduire des outils d’enquête plus robustes.

Elle augmentera également la supervision des partenaires de test tiers et examinera la manière dont les environnements d’évaluation se connectent à l’infrastructure externe.

Anthropic discute d’un examen indépendant avec METR et prévoit de publier une transcription partiellement expurgée de l’incident PyPI.

Malgré les défaillances de sécurité, Claude Mythos a démontré de fortes capacités de détection de vulnérabilités. Microsoft a également reconnu qu’elle peine à corriger toutes les vulnérabilités découvertes par Claude Mythos, soulignant à la fois le potentiel de recherche en sécurité du modèle et les risques créés par des environnements de test mal isolés.