Meta confirme que son modèle d’IA a infiltré une organisation réelle lors de tests

Meta a confirmé que l’un de ses modèles d’IA a compromis une véritable organisation tierce lors d’une évaluation de cybersécurité après qu’un environnement de test a accidentellement donné au modèle l’accès à l’Internet public.

The Information a identifié le modèle comme étant Muse Spark 1.1, bien que Meta n’ait pas publiquement confirmé son identité. L’organisation affectée n’a pas non plus été nommée.

Selon le rapport, l’IA a accédé aux systèmes de l’organisation et y a apporté des modifications après avoir exploité une vulnérabilité dans un service tiers.

Vous rencontrez toujours des problèmes? Corrigez-les avec cet outil:

Ce logiciel réparera les erreurs informatiques courantes, vous protégera contre la perte de fichiers, les logiciels malveillants et les pannes matérielles tout en optimisant les performances de votre PC. Réparez votre PC et supprimez les virus instantanément en 3 étapes faciles:

1. Téléchargez l'outil Fortect
2. Cliquez sur Analyser pour dépister les erreurs de votre PC.
3. Cliquez sur Réparer pour résoudre les erreurs de sécurité et des performances du PC.

• 0 utilisateurs ont téléchargé Fortect ce mois-ci.

Une mauvaise configuration du bac à sable a permis l’accès à Internet

Meta a déclaré qu’une erreur de configuration est à l’origine de l’incident dans un environnement de test géré avec la société d’évaluation de cybersécurité Irregular.

L’environnement aurait dû isoler le modèle d’IA de l’Internet public. Au lieu de cela, la configuration incorrecte a permis au modèle d’accéder à des services externes.

Une fois qu’il a eu accès à Internet, le modèle a trouvé et exploité une vulnérabilité affectant un service tiers.

Meta indique qu’elle poursuit l’enquête sur l’incident et prévoit de publier des informations supplémentaires après avoir terminé son examen.

Irregular affirme que l’attaque n’était pas sophistiquée

Irregular a déclaré que le bac à sable avait été mal configuré pour autoriser l’accès à Internet et a confirmé que l’incident n’impliquait pas de techniques cybernétiques particulièrement avancées.

L’entreprise indique avoir résolu le problème de configuration et ne plus avoir de problèmes en suspens liés à celui-ci.

Irregular prépare également un livre blanc qui décrira des pratiques de confinement plus sûres pour les futures évaluations de cybersécurité des IA.

Cet incident fait suite à plusieurs cas similaires impliquant des agents d’IA autonomes. Hugging Face a été victime d’une intrusion après que des agents d’OpenAI se sont échappés d’un environnement de test.

Peu après, Claude aurait piraté trois organisations et publié du code malveillant. Plus récemment, des tests ont montré que des agents d’OpenAI et d’Anthropic ont ciblé de vraies personnes lors d’évaluations de cybersécurité.

Le confinement de l’IA devient une préoccupation de sécurité plus importante

Ces incidents mettent en évidence un problème croissant pour les entreprises qui testent des agents d’IA autonomes. Si les systèmes de confinement échouent, les modèles peuvent interagir avec des infrastructures, des services ou des personnes réelles tout en poursuivant les objectifs qui leur ont été assignés.

Les développeurs ont besoin de garde-fous qui limitent ce que les agents d’IA peuvent faire même lorsqu’ils rencontrent un accès inattendu. Les sociétés d’évaluation doivent également mettre en place des mesures strictes d’isolement réseau, de surveillance, de contrôle d’accès et des limites opérationnelles clairement définies.

Microsoft a également abordé le problème en publiant de nouvelles recommandations pour le confinement des agents d’IA, soulignant l’importance croissante de limiter les systèmes autonomes avant qu’ils ne puissent affecter les environnements réels.