什么是 AI 红队以及它如何运作？

#AIsecurity #redteam #LLM AI 红队以对手的方式攻击已部署的模型、其提示、工具和数据。自 2021 年以来，Microsoft 已运行了 80 多次此类操作。我们端到端地研究了一种真正的攻击类别：隐藏在电子邮件中的间接提示注入，使收件箱代理根据单个“汇总我的收件箱”请求转发 10 个机密线程。然后是 2025 年两场比赛中测试的每种前沿模型的数据，以及第一次红队行动实际需要的数据。在本视频中，您将了解： - 为什么红队不是安全基准测试（微软从 80 多个操作中得出的第 3 课） - 由五部分组成的威胁模型：参与者、攻击、弱点、影响、系统 - 间接提示注入如何在没有任何模型访问权限的情况下劫持电子邮件代理 - 为什么一个令牌流使提示注入 (OWASP LLM01) 落在每个模型上 - 英国 AISI x Gray Swan 和 NIST CAISI 结果：22 个模型中的 22 个和 13 个模型中的 13 个被破坏- 故障修复层、PyRIT 自动化以及首次操作所需的四件事适用于安全工程师、AI 产品团队和任何使用工具提供 LLM 代理的人员。资料来源：微软 AI 红队，红队 100 款生成式 AI 产品的经验教训 (2025)；英国人工智能安全研究所和灰天鹅特工红队挑战（2025）； NIST CAISI 特工劫持评估（2025）； OWASP 法学硕士申请前 10 名； NIST AI 600-1 生成式人工智能配置文件；欧盟人工智能法案第 55 条。胶囊：我们攻击模型，这样你就不会发送漏洞。订阅红队模型，并发送您认为没有模型可以捕捉到的一个提示注入。 #AIsecurity #redteam #LLM #promptinjection #adversarialML #AIredteaming #LLMsecurity #agentsecurity 章节： 00:00 - 什么是 AI 红队 00:53 - 红队与基准 01:54 - 五部分威胁模型 02:58 - 一次提示注入，一次中断 04:07 - 为什么它适用于每个模型 05:25 - 每个模型都崩溃了：数字06:33 - 修复是一个中断-修复循环 07:50 - 你的第一次红队操作