AI가 실제로 작동하는 방식(다음 단어를 추측하는 것임)

AI는 실제로 어떻게 작동하는가? ChatGPT, Claude 또는 Gemini와 같은 챗봇의 모든 답변은 다음 단어를 추측하는 대규모 언어 모델에 의해 한 번에 하나의 토큰으로 작성됩니다. 이 시각적 설명은 전체 시스템에서 하나의 프롬프트를 따릅니다. 1948년 클로드 섀넌(Claude Shannon)이 책을 넘기고 단어 하나하나를 추측하여 문장을 만들었을 때부터 시작됩니다. 거의 작동하다가 무너졌습니다. 오늘날 목표는 동일하지만 기계는 읽은 모든 내용을 되돌아볼 수 있습니다. 우리는 "달 위를 걷는 최초의 사람은… 그런 다음 훈련을 살펴보고, 모델이 틀렸을 때 자신감 있게 들리는 이유와 예측이 얼마나 멀리까지 갈 수 있는지 살펴봅니다. 이 비디오 내용: • LLM(대형 언어 모델) 및 "매개변수"는 무엇입니까? • 토큰: 텍스트를 조각으로 자르고 숫자로 변환하는 방법 • 벡터 및 단어 임베딩(Bengio, 2003) • 주의: 쿼리, 키 및 값, 시각적으로 설명(Vaswani 외, 2017) • 소프트맥스, 확률 및 온도: 다음 토큰 선택 방법 • 교육, 미세 조정 및 인간 피드백 • AI를 사용하는 이유 환각, 문맥 창 및 지식 차단 장 다음 단어 예측 모델이 실제로 텍스트를 생성하는 방법. 확률적 언어 모델과 관심의 이면에 있는 논리를 확인하세요. 대부분의 사람들은 AI 모델이 인간처럼 생각한다고 가정하지만 실제로는 통계 엔진입니다. 이 영상은 다음 단어 예측 모델이 훈련 데이터를 기반으로 다음 토큰의 확률을 어떻게 계산하는지에 대한 메커니즘을 분석합니다. Claude Shannon의 원래 실험과 그것이 어떻게 현대 시스템을 지원하는 아키텍처로 발전했는지 살펴봅니다. 단순한 확률을 넘어 단어 벡터와 주의 메커니즘을 조사하여 기계가 컨텍스트를 처리하는 방법을 보여줍니다. 이러한 시스템이 때때로 무의미한 출력을 생성하는 이유와 언어를 수학적 공간에 매핑하는 방법을 배우게 됩니다. 이러한 핵심 원칙을 이해하는 것은 대규모 언어 모델을 구축하거나 연구하는 모든 사람에게 필수적입니다. 스택 제로. 복잡한 시스템. 명확한 설명. 실제 영향. 최신 소프트웨어 뒤에 있는 기술에 대한 주간 분석을 구독하세요. 0:00 1948년 단어 추측 실험 0:40 오늘날의 챗봇: 여전히 다음 단어 추측 1:41 대규모 언어 모델이란 무엇인가 2:02 토큰과 예측 루프 2:41 Shannon의 문장이 무너진 이유 2:56 Shannon의 인간 추측 게임(1951) 3:32 단어 계산: n-gram 3:57 단어 벡터(2003) 4:19 주의 도착(2014) 4:41 변환기: "주의가 필요한 전부입니다"(2017) 5:07 모델 내부: 하나의 프롬프트, 단계별 5:15 1단계: 토큰 5:38 2단계: 벡터 6:01 3단계: 주의(쿼리, 키, 값) 6:49 주의 헤드 7:04 96개의 레이어 및 피드포워드 네트워크 7:33 4단계: 확률 및 소프트맥스 7:48 5단계: 다음 토큰 선택(탐욕, 샘플링, 온도) 8:14 루프: 한 번에 하나의 토큰 8:33 훈련: 규모에 따른 Shannon의 게임 9:16 예측자에서 보조자까지 9:34 하나의 루프, 많은 제품 9:45 AI가 환각을 일으키는 이유 10:18 컨텍스트 창, 컷오프 및 소스 10:37 요약: 기계 전체 10:59 예측은 어디까지 갈 수 있나요? 출처가 표시되지 않는 한 화면의 숫자는 예시입니다. 출처 • Shannon(1948), 의사소통의 수학적 이론: https://people.csail.mit.edu/dmoshkov/courses/codes/shannon1948.pdf • Shannon(1951), 인쇄된 영어의 예측 및 엔트로피: https://sites.socsci.uci.edu/~rfutrell/teaching/itl-davis/readings/shannon1951prediction.pdf • Bengio 외. (2003), 신경 확률적 언어 모델: https://www.jmlr.org/papers/v3/bengio03a.html • Bahdanau, Cho & Bengio (2014), 정렬 및 번역 공동 학습에 의한 신경 기계 번역: https://arxiv.org/abs/1409.0473 • Vaswani et al. (2017), 주의가 필요한 전부입니다: https://arxiv.org/abs/1706.03762 • Brown et al. (2020), 언어 모델은 Few-Shot Learners(GPT-3): https://arxiv.org/abs/2005.14165 • Meta(2024), Meta Llama 소개 3: https://ai.meta.com/blog/meta-llama-3/ • OpenAI 도움말, 토큰이란 무엇이며 이를 계산하는 방법: https://help.openai.com/en/articles/4936856 • Geva 외. (2021), 변환기 피드포워드 레이어는 키-값 메모리입니다: https://arxiv.org/abs/2012.14913 • Ouyang et al. (2022), 인간 피드백을 통해 지침을 따르도록 언어 모델 교육: https://arxiv.org/abs/2203.02155 • OpenAI(2025), 언어 모델이 환각을 일으키는 이유: https://openai.com/index/why-언어-models-hallucinate/ • Olsson et al. (2022), 상황 내 학습 및 유도 헤드: https://transformer-circuits.pub/2022/in-context-learning-and-induction-heads/index.html Stack Zero는 일상 기술의 이면에 있는 시스템을 처음부터 끝까지 설명합니다. #AI #LLM #AI가 작동하는 방식