#AI 및 #LLM에서 토큰, 토크나이저, 의미론적 벡터(임베딩)가 실제로 무엇인지 궁금한 적이 있습니까? 이 #튜토리얼에서 우리는 얼마나 큰 언어 모델이 인간 언어를 표현하는지에 대한 핵심 수학적, 기하학적 기초를 분석하는 동시에 모든 단순화에 대해 완전히 솔직하게 설명합니다. 인간의 철자법은 신경망에서 놀라울 정도로 지저분합니다. 작은 한 글자만 수정하면 완전히 관련 없는 단어가 만들어지고, 동일한 개념은 동의어와 언어에 따라 완전히 다르게 보입니다. 현대 AI가 원시 텍스트를 기하학으로 변환하고 브라우저와 Python에서 실시간으로 테스트하는 방법을 추적해 보겠습니다. 우리가 다룰 내용은 다음과 같습니다. - 원시 인간 단어 및 사전 ID가 신경망에 대해 의미론적 의미가 없는 이유 - 토크나이저가 훈련 전에 텍스트를 하위 단어 토큰 및 정수 토큰 ID로 압축하는 방법 - 의미론적 벡터 공간 - 일부 수학 - 실습 데모 목차(TOC): 00:00 - 소개 00:22 - 인간 언어가 신경망에서 까다로운 이유 02:38 - 토큰 및 토크나이저 작동 방식 05:17 - 벡터 및 관계 기하학 삽입 08:01 - 2D를 넘어서: 왜 수백 또는 수천 차원이 필요한가요? 09:58 - 내적, 투영 및 코사인 유사성 12:55 - 고차원의 거의 직교하는 벡터 15:14 - 임베딩 행렬 조회 16:16 - 실습: OpenAI Tokenizer 17:09 - 실습: Python의 Word2Vec 의미 체계 벡터 19:11 - 여러 의미를 가진 단어 21:03 - 여정 완료 요약 22:05 - 네 가지 단순화 #ArtificialIntelligence #LLM #Embeddings #Vectors #Tokenization #MachineLearning #DeepLearning #Python #Word2Vec #NLP #GenerativeAI