'Bedeutung Machine' visualisiert, wie große Sprachmodelle Wörter in Token zerlegen und sie verarbeiten

Generative KI mit groß angelegten Sprachmodellen wie Chatgpt, Claude und Grok reagieren angemessen auf Benutzerwörter wie ein Mensch. Es gibt jedoch einen großen Unterschied

The website 'Meaning Machine' provides a visually easy-to-understand view of how large-scale language models process language, which is different from how humans process language. Generative AI using large-scale language models such as ChatGPT, Claude, and Grok respond appropriately to user words just like a human. However, there is a big difference between how large-scale language models process language and how humans process language.

Die Website 'Bedeutung Maschine' bietet eine optisch leicht verständliche Ansicht darüber, wie große Sprachmodelle Sprache verarbeiten, was sich von der Verarbeitung von Menschen unterscheidet. Generative KI mit groß angelegten Sprachmodellen wie Chatgpt, Claude und Grok reagieren angemessen auf Benutzerwörter wie ein Mensch. Es gibt jedoch einen großen Unterschied zwischen der Verarbeitung von Sprachmodellen in großem Maßstab und der Verarbeitung der Sprache.

The website 'Meaning Machine' provides a visually easy-to-understand view of how large-scale language models process language.

Die Website 'Bedeutung Maschine' bietet eine visuell leicht verständliche Ansicht darüber, wie große Sprachmodelle Sprache verarbeiten.

Meaning Machine · Streamlit

Bedeutung Maschine · stromantrieb

Below that, the input sentence is split into words, and each word is shown with a numeric ID when it is represented as a 'token' by the large-scale language model.

Im Folgenden wird der Eingabersatz in Wörter aufgeteilt, und jedes Wort wird mit einer numerischen ID angezeigt, wenn er vom groß angelegten Sprachmodell als "Token" dargestellt wird.

Joshua Hathcock, the developer of Meaning Machine, explains that large-scale language models do not process entire sentences together, but rather split words and character sets into numerical IDs called tokens and process them abstractly. For example, in the case of the GPT model on which ChatGPT is based, common words such as 'The,' 'young,' 'student,' 'didn't,' and 'submit' are often represented by a single token, but rare words are split into multiple tokens made up of combinations of subwords. The large-scale language model then identifies the grammatical role of each token and infers the subject, verb, object, etc. of the sentence. In the example sentence, the subject is 'student,' the verb is 'submit,' and the object is 'report.'

Joshua Hathcock, der Entwickler von Bedeutung Machine, erklärt, dass groß angelegte Sprachmodelle keine ganzen Sätze verarbeiten, sondern Wörter und Charaktere in numerische IDs, die als Token bezeichnet werden, aufgeteilt werden und sie abstrakt verarbeiten. Zum Beispiel werden im Fall des GPT -Modells, auf dem ChatGPT basiert, gemeinsame Wörter wie "The" "Young", "Student", "nicht" und "Senden" häufig von einem einzigen Token dargestellt, aber seltene Wörter werden in mehrere Token unterteilt, die aus Kombinationen von Unterwörtern bestehen. Das groß angelegte Sprachmodell identifiziert dann die grammatikalische Rolle jedes Tokens und färbt das Subjekt, das Verb, das Objekt usw. des Satzes. Im Beispiel -Satz ist das Thema "Student", das Verb lautet "Senden", und das Objekt lautet "Bericht".

The large-scale language model tags each token with its part of speech (POS), maps dependencies in a sentence, and structures and represents the sentence.

Das groß angelegte Sprachmodell markiert jedes Token mit seinem Teil der Sprache (POS), meldet Abhängigkeiten in einem Satz und strukturiert und repräsentiert den Satz.

The meaning of the dependency strings is explained in the table at the bottom of the Meaning Machine page.

Die Bedeutung der Abhängigkeitszeichenfolge wird in der Tabelle am unteren Rand der Signal Machine -Seite erklärt.

Each token is then converted into a list (vector) of hundreds of numbers that capture its meaning and context. The figure below shows each token in the example sentence visualized in two dimensions through dimensionality reduction.

Jedes Token wird dann in eine Liste (Vektor) von Hunderten von Zahlen umgewandelt, die seine Bedeutung und seinen Kontext erfassen. Die folgende Abbildung zeigt jedes Token im Beispielsatz, den in zwei Dimensionen durch Dimensionalitätsreduzierung sichtbar gemacht hat.

Below that is a tree showing the dependencies of each token, which shows which tokens depend on which other tokens, and what the whole picture means.

Darunter befindet sich ein Baum, der die Abhängigkeiten jedes Tokens zeigt, was zeigt, welche Token von anderen Token abhängen und was das ganze Bild bedeutet.

You can navigate through the dependencies by dragging the bar at the bottom of the diagram left and right.

Sie können durch die Abhängigkeiten navigieren, indem Sie die Stange am unteren Rand des Diagramms nach links und rechts ziehen.

In Meaning Machine, you can enter any sentence you like into the input form at the top of the page to see how the large-scale language model converts each word into a token and how it captures the dependencies of the entire sentence.

In der Bedeutungsmaschine können Sie jeden Satz, den Sie mögen, in das Eingabebildform oben auf der Seite eingeben, um zu sehen, wie das groß angelegte Sprachmodell jedes Wort in ein Token umwandelt und wie es die Abhängigkeiten des gesamten Satzes erfasst.

'These technical steps reveal something deeper: language models don't understand language the way humans do,' Hathcock said. 'They simulate language convincingly, but in a fundamentally different way. When you or I say 'dog,' we might recall the feel of fur, the sound of a bark, and even an emotional response. But when a large-scale language model sees the word 'dog,' it sees a vector of numbers formed by the frequency with which 'dog' appears near words like 'bark,' 'tail,' 'vet,' and so on. This is not wrong; it has statistical meaning. But this has no substance, no basis, no knowledge.' In other words, large-scale language models and humans process language fundamentally differently, and no matter how human-like a response may be, there are no beliefs or goals.

"Diese technischen Schritte zeigen etwas tieferes: Sprachmodelle verstehen die Sprache nicht wie Menschen", sagte Hathcock. „Sie simulieren die Sprache überzeugend, aber auf grundsätzlich andere Weise. Wenn Sie oder ich "Hund" sagen, erinnern wir uns vielleicht an das Fellgefühl, das Geräusch einer Rinde und sogar an eine emotionale Reaktion. Aber wenn ein großes Sprachmodell das Wort "Hund" sieht, sieht es einen Vektor von Zahlen, der durch die Frequenz gebildet wird, mit der "Hund" in der Nähe von Wörtern wie "Rinde", "Schwanz", "Tierarzt" und so weiter erscheint. Das ist nicht falsch; Es hat statistische Bedeutung. Aber das hat keine Substanz, keine Grundlage, kein Wissen. ' Mit anderen Worten, groß angelegte Sprachmodelle und Menschen verarbeiten Sprache grundsätzlich unterschiedlich, und egal wie menschlich eine Antwort sein mag, es gibt keine Überzeugungen oder Ziele.

Despite this, large-scale language models are already widely used in society, creating people's resumes, filtering content, and sometimes even determining what is valuable. Since AI is already becoming a social infrastructure, Hathcock argued that it is important to know the difference in performance and understanding of large-scale language models.

Trotzdem werden groß angelegte Sprachmodelle in der Gesellschaft bereits weit verbreitet, um die Lebensläufe der Menschen zu schaffen, Inhalte zu filtern und manchmal sogar zu bestimmen, was wertvoll ist. Da KI bereits zu einer sozialen Infrastruktur wird, argumentierte Hathcock, dass es wichtig sei, den Unterschied in der Leistung und des Verständnisses großer Sprachmodelle zu kennen.