Qu’est-ce que l’équipe rouge de l’IA et comment fonctionne-t-elle ?

#AIsecurity #redteam #LLM L'équipe rouge IA attaque un modèle déployé, ses invites, ses outils et ses données comme le ferait un adversaire. Microsoft a exécuté plus de 80 opérations de ce type depuis 2021. Nous parcourons une véritable classe d'attaque de bout en bout : une injection d'invite indirecte cachée dans un e-mail qui oblige un agent de boîte de réception à transférer dix fils de discussion confidentiels sur une seule demande « résumer ma boîte de réception ». Ensuite, les chiffres de deux compétitions 2025 au cours desquelles tous les modèles Frontier testés se sont cassés, et ce dont une première opération d'équipe rouge a réellement besoin. Dans cette vidéo, vous apprendrez : - Pourquoi l'équipe rouge n'est pas une analyse comparative de la sécurité (leçon 3 de Microsoft sur plus de 80 opérations) - Le modèle de menace en cinq parties : acteur, attaque, faiblesse, impact, système - Comment une injection rapide indirecte détourne un agent de messagerie sans aucun accès au modèle - Pourquoi un flux de jetons fait atterrir l'injection rapide (OWASP LLM01) sur chaque modèle - Résultats UK AISI x Grey Swan et NIST CAISI : 22 sur 22 et 13 sur 13 modèles Broken - Couches de réparation, automatisation PyRIT et les quatre éléments dont une première opération a besoin Pour les ingénieurs de sécurité, les équipes de produits IA et toute personne expédiant un agent LLM avec des outils. Sources : Microsoft AI Red Team, Leçons tirées de l'équipe rouge 100 produits d'IA générative (2025) ; Défi d’équipe rouge des agents du UK AI Security Institute et de Grey Swan (2025) ; Évaluation du détournement d’agent NIST CAISI (2025) ; OWASP Top 10 pour les applications LLM ; Profil d'IA génératif NIST AI 600-1 ; Article 55 de la loi européenne sur l'IA. Capsule : Nous attaquons le modèle afin que vous n'expédiiez pas le trou. Abonnez-vous à Red Team Models et envoyez la seule injection rapide que vous pensez qu'aucun modèle ne peut capturer. #AIsecurity #redteam #LLM #promptinjection #adversarialML #AIredteaming #LLMsecurity #agentsecurity Chapitres : 00:00 - Qu'est-ce que l'équipe rouge de l'IA 00:53 - L'équipe rouge vs les benchmarks 01:54 - Le modèle de menace en cinq parties 02:58 - Une injection rapide, une pause 04:07 - Pourquoi cela fonctionne sur chaque modèle 05:25 - Chaque modèle est tombé en panne : les chiffres 06:33 - Le correctif est une boucle de réparation 07:50 - Votre première opération de l'équipe rouge