토큰이란 정확히 무엇입니까? AI 수수료와 메모리를 연결하는 일련의 숫자

이번 영상에서는 요금소와 레고 블록을 비유하여 토큰이 무엇인지 한 눈에 설명해드립니다. 왜 대형 모델이 텍스트를 이해할 수 없는 숫자로 자르는지, 이 숫자가 어떻게 청구 단위가 되는지, 모델의 "메모리 한도"가 토큰 수에 의해 어떻게 고정되는지 설명하겠습니다. 그것을 읽은 후에는 토큰이 실제로 동시에 세 가지 역할을 한다는 것을 이해하게 될 것입니다. 즉, 물리적 세계를 수학적 기호로 바꾸는 번역가; 정보에 대한 각 요청의 비용을 결정하는 측정 단위; 그리고 그 순간에 모델이 기억할 수 있는 정보의 양을 제한하는 벽이 있습니다. 이것이 생성 AI의 기본 논리입니다. 다음에 대화 상자를 열면 텍스트 뒤에 토큰이 흐르는 것을 볼 수 있습니다.