질문을 입력하고 AI가 대답하는 사이에는 실제로 어떤 일이 발생하나요? 이 비디오는 GPT, Claude, Gemini 및 대부분의 최신 언어 모델의 아키텍처인 Transformer를 열고 모든 단계에서 "고양이는 우유를 마십니다."라는 간단한 문장을 따릅니다. 텍스트가 토큰 및 토큰 ID가 되는 방법, 임베딩 및 위치 인코딩이 이를 벡터로 변환하는 방법, self-attention이 쿼리, 키 및 값을 사용하는 방법, multi-head attention이 존재하는 이유, 피드포워드 네트워크, 잔여 연결 및 레이어 정규화가 수행하는 작업, 인과 마스킹을 통해 모델이 다음 토큰을 예측하는 방법, 교육 및 추론이 작동하는 방법, KV 캐시가 GPU에서 대규모 언어 모델을 실행하는 데 중요한 이유를 살펴봅니다. 블랙박스나 불필요한 전문 용어가 없습니다. 한 문장, 일련의 다이어그램, 그리고 숨겨진 수학이 있습니다. 표시된 토큰 ID, 벡터 및 백분율은 예시입니다. 타임스탬프 0:00 소개: AI에게 질문하면 어떤 일이 발생합니까 1:01 Transformers 이전: RNN 및 2017년 논문 2:14 토큰화: 텍스트를 토큰 ID로 3:27 임베딩: 단어를 벡터로 4:43 위치 인코딩 및 RoPE 5:54 Self-attention: 쿼리, 키 및 값 8:52 확장된 내적 주의, 단계별 9:35 멀티헤드 어텐션 11:11 피드포워드 네트워크 12:16 잔여 연결 및 레이어 정규화 13:20 전체 Transformer 블록 14:08 인코더, 디코더, BERT, GPT 및 T5 15:22 인과 마스킹 16:27 Transformer 학습 방법 17:46 추론: 텍스트 생성 방법 18:53 KV 캐시 20:15 전체 여정 21:07 트랜스포머가 AI를 바꾼 이유