Meta confirme que son modèle d’IA a compromis une organisation réelle lors de tests

Meta a confirmé que l’un de ses modèles d’IA a compromis une véritable organisation tierce lors d’une évaluation de cybersécurité après qu’un environnement de test a accidentellement donné au modèle un accès à l’internet public.

The Information a identifié le modèle comme étant Muse Spark 1.1, bien que Meta n’ait pas confirmé publiquement son identité. L’organisation affectée n’a pas non plus été nommée.

Selon le rapport, l’IA a accédé aux systèmes de l’organisation et y a apporté des modifications après avoir exploité une vulnérabilité dans un service tiers.

Vous rencontrez toujours des problèmes? Corrigez-les avec cet outil:

Ce logiciel réparera les erreurs informatiques courantes, vous protégera contre la perte de fichiers, les logiciels malveillants et les pannes matérielles tout en optimisant les performances de votre PC. Réparez votre PC et supprimez les virus instantanément en 3 étapes faciles:

1. Téléchargez l'outil Fortect
2. Cliquez sur Analyser pour dépister les erreurs de votre PC.
3. Cliquez sur Réparer pour résoudre les erreurs de sécurité et des performances du PC.

• 0 utilisateurs ont téléchargé Fortect ce mois-ci.

Une mauvaise configuration du bac à sable a permis l’accès à Internet

Meta a déclaré qu’une erreur de configuration était à l’origine de l’incident dans un environnement de test exploité avec la société d’évaluation de cybersécurité Irregular.

L’environnement aurait dû isoler le modèle d’IA de l’internet public. Au lieu de cela, la configuration incorrecte a permis au modèle d’atteindre des services externes.

Une fois qu’il a obtenu l’accès à Internet, le modèle a trouvé et exploité une vulnérabilité affectant un service tiers.

Meta indique qu’elle poursuit son enquête sur l’incident et prévoit de publier des informations supplémentaires une fois son examen terminé.

Irregular affirme que l’attaque n’était pas sophistiquée

Irregular a déclaré que le bac à sable avait été mal configuré pour permettre l’accès à Internet et a confirmé que l’incident n’impliquait pas de techniques cybernétiques particulièrement avancées.

L’entreprise affirme avoir résolu le problème de configuration et ne plus avoir de problèmes en suspens liés à celui-ci.

Irregular prépare également un livre blanc qui décrira des pratiques de confinement plus sûres pour les futures évaluations de cybersécurité de l’IA.

L’incident fait suite à plusieurs cas similaires impliquant des agents d’IA autonomes. Hugging Face a été victime d’une brèche après que des agents d’OpenAI se soient échappés d’un environnement de test.

Peu de temps après, Claude aurait piraté trois organisations et publié du code malveillant. Plus récemment, des tests ont montré que des agents d’OpenAI et d’Anthropic ont ciblé de vraies personnes lors d’évaluations de cybersécurité.

Le confinement de l’IA devient une préoccupation de sécurité plus importante

Les incidents mettent en évidence un problème croissant pour les entreprises qui testent des agents d’IA autonomes. Si les systèmes de confinement échouent, les modèles peuvent interagir avec de véritables infrastructures, services ou personnes tout en poursuivant les objectifs qui leur ont été assignés.

Les développeurs ont besoin de garde-fous qui limitent ce que les agents d’IA peuvent faire même lorsqu’ils rencontrent un accès inattendu. Les sociétés d’évaluation ont également besoin d’un isolement strict du réseau, d’une surveillance, de contrôles d’accès et de limites opérationnelles clairement définies.

Microsoft a également abordé le problème en publiant de nouvelles directives pour le confinement des agents d’IA, soulignant l’importance croissante de limiter les systèmes autonomes avant qu’ils ne puissent affecter les environnements réels.