AI 레드팀이란 무엇이며 어떻게 작동하나요?

#AIsecurity #redteam #LLM AI 레드팀은 배포된 모델, 프롬프트, 도구 및 데이터를 적과 같은 방식으로 공격합니다. Microsoft는 2021년부터 이러한 작업을 80회 이상 실행했습니다. 우리는 하나의 실제 공격 클래스를 끝까지 진행합니다. 즉, 받은 편지함 에이전트가 단일 '받은 편지함 요약' 요청에 대해 10개의 기밀 스레드를 전달하도록 하는 이메일에 숨겨진 간접 프롬프트 삽입입니다. 그런 다음 테스트된 모든 프론티어 모델이 포함된 2025년 두 대회의 수치와 첫 번째 레드팀 운영에 실제로 필요한 수치가 나왔습니다. 이 비디오에서 배울 내용은 다음과 같습니다. - 레드 팀 구성이 안전 벤치마킹이 아닌 이유(80개 이상의 운영에서 Microsoft의 교훈 3) - 5부분으로 구성된 위협 모델: 행위자, 공격, 약점, 영향, 시스템 - 간접 프롬프트 주입이 모델 액세스 없이 이메일 에이전트를 하이재킹하는 방법 - 하나의 토큰 스트림이 모든 모델에 프롬프트 주입(OWASP LLM01)을 실행하는 이유 - UK AISI x Gray Swan 및 NIST CAISI 결과: 22/22 및 13/13 손상된 모델 - 고장 수리 레이어, PyRIT 자동화 및 첫 번째 작업에 필요한 4가지 보안 엔지니어, AI 제품 팀 및 도구와 함께 LLM 에이전트를 제공하는 모든 사람을 위한 것입니다. 출처: Microsoft AI 레드팀, 레드팀 100개 생성 AI 제품에서 얻은 교훈(2025); 영국 AI 보안 연구소와 Gray Swan 에이전트 레드팀 구성 챌린지(2025); NIST CAISI 에이전트 하이재킹 평가(2025) LLM 응용 프로그램을 위한 OWASP 상위 10개; NIST AI 600-1 생성 AI 프로필; EU AI법 55조. 캡슐: 구멍이 뚫리지 않도록 모델을 공격합니다. Red Team Models를 구독하고 어떤 모델도 따라잡을 수 없다고 생각되는 즉각적인 주사를 보내세요. #AIsecurity #redteam #LLM #promptinjection #adversarialML #AIRedteaming #LLMsecurity #agentsecurity 장: 00:00 - AI 레드팀이란 무엇인가 00:53 - 레드팀과 벤치마크 01:54 - 5개 부분으로 구성된 위협 모델 02:58 - 한 번의 즉각적인 주입, 한 번의 중단 04:07 - 모든 모델에서 작동하는 이유 05:25 - 모든 모델이 깨졌습니다: 숫자 06:33 - 수정은 중단-수정 루프입니다. 07:50 - 첫 번째 레드팀 작전