AI レッドチームとは何ですか?またどのように機能しますか?

#AIsecurity #redteam #LLM AI レッド チームは、敵が行うのと同じ方法で、デプロイされたモデル、そのプロンプト、ツール、データを攻撃します。 Microsoft は 2021 年以来、このような操作を 80 以上実行しています。私たちは 1 つの実際の攻撃クラスをエンドツーエンドで検証します。それは、電子メールに隠された間接プロンプト インジェクションで、受信トレイ エージェントに 1 つの「受信トレイの要約」リクエストで 10 個の機密スレッドを転送させます。次に、すべてのフロンティア モデルがテストされた 2025 年の 2 つの競技会の数値と、最初のレッドチームの作戦に実際に必要なものが判明しました。このビデオでは、次のことを学びます: - レッド チーミングが安全性ベンチマークではない理由 (80 以上の運用から得た Microsoft の教訓 3) - 5 つの部分からなる脅威モデル: アクター、攻撃、弱点、影響、システム - 間接的なプロンプト インジェクションがどのようにモデル アクセスなしで電子メール エージェントをハイジャックするか - 1 つのトークン ストリームでプロンプト インジェクション (OWASP LLM01) がすべてのモデルに到達する理由 - UK AISI x Gray Swan および NIST CAISI の結果: 22 件中 22 件と 13 件中壊れた 13 のモデル - 破損修正レイヤー、PyRIT 自動化、最初の運用に必要な 4 つのこと セキュリティ エンジニア、AI 製品チーム、ツールを備えた LLM エージェントを出荷するすべての人向け。出典: Microsoft AI レッド チーム、100 の生成 AI 製品のレッド チームからの教訓 (2025)。英国 AI セキュリティ研究所と Gray Swan エージェントのレッドチーム チャレンジ (2025 年)。 NIST CAISI エージェントのハイジャック評価 (2025); OWASP LLM アプリケーションのトップ 10。 NIST AI 600-1 生成 AI プロファイル。 EU AI 法第 55 条。カプセル: ホールを出荷しないようにモデルを攻撃します。 Red Team Models に登録し、どのモデルもキャッチできないと思われるプロンプト インジェクションを 1 つ送信します。 #AIsecurity #redteam #LLM #promptinjection #adversarialML #AIredteaming #LLMsecurity #agentsecurity 章: 00:00 - AI レッド チーミングとは 00:53 - レッド チーミングとベンチマーク 01:54 - 5 部構成の脅威モデル 02:58 - プロンプト インジェクション 1 回、中断 1 回 04:07 - すべてのモデルで機能する理由 05:25 - すべてのモデルが壊れました。数字 06:33 - 修正はブレークフィックスループです 07:50 - 最初のレッドチーム作戦