'Machine 의미'는 대규모 언어 모델이 단어를 토큰으로 나누고 처리하는 방법

Chatgpt, Claude 및 Grok과 같은 대규모 언어 모델을 사용하는 생성 AI는 인간처럼 사용자 단어에 적절하게 반응합니다. 그러나 큰 차이가 있습니다

The website 'Meaning Machine' provides a visually easy-to-understand view of how large-scale language models process language, which is different from how humans process language. Generative AI using large-scale language models such as ChatGPT, Claude, and Grok respond appropriately to user words just like a human. However, there is a big difference between how large-scale language models process language and how humans process language.

웹 사이트 '의미 Machine'은 인간이 언어를 처리하는 방식과 다른 대규모 언어 모델이 언어를 처리하는 방법에 대한 시각적으로 이해하기 쉬운 견해를 제공합니다. Chatgpt, Claude 및 Grok과 같은 대규모 언어 모델을 사용하는 생성 AI는 인간처럼 사용자 단어에 적절하게 반응합니다. 그러나 대규모 언어 모델이 언어를 처리하는 방법과 인간이 언어를 처리하는 방법에는 큰 차이가 있습니다.

The website 'Meaning Machine' provides a visually easy-to-understand view of how large-scale language models process language.

웹 사이트 '의미 기계'는 대규모 언어 모델이 언어를 처리하는 방법에 대한 시각적으로 이해하기 쉬운 견해를 제공합니다.

Meaning Machine · Streamlit

의미 기계 · 유선형

Below that, the input sentence is split into words, and each word is shown with a numeric ID when it is represented as a 'token' by the large-scale language model.

그 아래에서 입력 문장은 단어로 나뉘며, 각 단어는 대규모 언어 모델로 '토큰'으로 표시 될 때 숫자 ID로 표시됩니다.

Joshua Hathcock, the developer of Meaning Machine, explains that large-scale language models do not process entire sentences together, but rather split words and character sets into numerical IDs called tokens and process them abstractly. For example, in the case of the GPT model on which ChatGPT is based, common words such as 'The,' 'young,' 'student,' 'didn't,' and 'submit' are often represented by a single token, but rare words are split into multiple tokens made up of combinations of subwords. The large-scale language model then identifies the grammatical role of each token and infers the subject, verb, object, etc. of the sentence. In the example sentence, the subject is 'student,' the verb is 'submit,' and the object is 'report.'

의미 기계의 개발자 인 Joshua Hathcock은 대규모 언어 모델이 전체 문장을 함께 처리하지 않고 오히려 단어와 문자 세트를 토큰이라고 불리는 수치 ID로 나누고 추상적으로 처리한다고 설명합니다. 예를 들어, Chatgpt가 기반을 둔 GPT 모델의 경우 'The' '', 'Young', 'Student', 'Notn'및 'Submit'과 같은 일반적인 단어는 종종 단일 토큰으로 표시되지만 희귀 단어는 하위 단어의 조합으로 구성된 여러 토큰으로 나뉩니다. 그런 다음 대규모 언어 모델은 각 토큰의 문법적 역할을 식별하고 문장의 주제, 동사, 대상 등을 유추합니다. 예제 문장에서, 주제는 '학생,'동사는 '제출'이고 대상은 '보고서'입니다.

The large-scale language model tags each token with its part of speech (POS), maps dependencies in a sentence, and structures and represents the sentence.

대규모 언어 모델은 각각의 토큰을 음성 (PO)의 일부로, 문장의 의존성을지도하며, 구조를 나타내며 문장을 나타냅니다.

The meaning of the dependency strings is explained in the table at the bottom of the Meaning Machine page.

종속성 문자열의 의미는 의미 기계 페이지 하단의 표에 설명되어 있습니다.

Each token is then converted into a list (vector) of hundreds of numbers that capture its meaning and context. The figure below shows each token in the example sentence visualized in two dimensions through dimensionality reduction.

그런 다음 각 토큰은 의미와 컨텍스트를 포착하는 수백 개의 숫자의 목록 (벡터)으로 변환됩니다. 아래 그림은 차원 감소를 통해 두 차원으로 시각화 된 예제 문장의 각 토큰을 보여줍니다.

Below that is a tree showing the dependencies of each token, which shows which tokens depend on which other tokens, and what the whole picture means.

아래는 각 토큰의 종속성을 보여주는 트리이며, 어떤 토큰이 다른 토큰과 전체 그림의 의미에 의존하는지 보여줍니다.

You can navigate through the dependencies by dragging the bar at the bottom of the diagram left and right.

왼쪽과 오른쪽 다이어그램 하단의 막대를 드래그하여 종속성을 탐색 할 수 있습니다.

In Meaning Machine, you can enter any sentence you like into the input form at the top of the page to see how the large-scale language model converts each word into a token and how it captures the dependencies of the entire sentence.

의미 기계에서, 원하는 문장을 페이지 상단의 입력 양식에 입력하여 대규모 언어 모델이 각 단어를 토큰으로 변환하는 방법과 전체 문장의 종속성을 포착하는 방법을 확인할 수 있습니다.

'These technical steps reveal something deeper: language models don't understand language the way humans do,' Hathcock said. 'They simulate language convincingly, but in a fundamentally different way. When you or I say 'dog,' we might recall the feel of fur, the sound of a bark, and even an emotional response. But when a large-scale language model sees the word 'dog,' it sees a vector of numbers formed by the frequency with which 'dog' appears near words like 'bark,' 'tail,' 'vet,' and so on. This is not wrong; it has statistical meaning. But this has no substance, no basis, no knowledge.' In other words, large-scale language models and humans process language fundamentally differently, and no matter how human-like a response may be, there are no beliefs or goals.

Hathcock은“이러한 기술 단계는 더 깊은 것을 드러냅니다. 언어 모델은 언어를 인간처럼 이해하지 못합니다. '그들은 언어를 설득력있게 시뮬레이션하지만 근본적으로 다른 방식으로 시뮬레이션합니다. 당신이나 내가 '개'라고 말할 때, 우리는 모피의 느낌, 껍질 소리, 심지어 감정적 인 반응을 떠올리게 될 것입니다. 그러나 대규모 언어 모델이 '개'라는 단어를 볼 때, '개'가 '껍질', '꼬리', '수의사'와 같은 단어 근처에 나타나는 주파수에 의해 형성된 숫자의 벡터를 봅니다. 이것은 잘못이 아닙니다. 통계적 의미가 있습니다. 그러나 이것은 물질, 근거도없고 지식도 없습니다. ' 다시 말해서, 대규모 언어 모델과 인간은 언어를 근본적으로 다르게 처리하며, 인간과 같은 반응이 아무리 도가 없더라도 믿음이나 목표는 없습니다.

Despite this, large-scale language models are already widely used in society, creating people's resumes, filtering content, and sometimes even determining what is valuable. Since AI is already becoming a social infrastructure, Hathcock argued that it is important to know the difference in performance and understanding of large-scale language models.

그럼에도 불구하고, 대규모 언어 모델은 이미 사회에서 널리 사용되어 사람들의 이력서를 만들고, 내용을 필터링하며, 때로는 가치있는 것을 결정하기도합니다. AI가 이미 소셜 인프라가되고 있기 때문에 Hathcock은 대규모 언어 모델의 성능과 이해의 차이를 아는 것이 중요하다고 주장했다.