`` Signification Machine '' visualise comment les modèles de langage à grande échelle décomposent les mots en jetons et les traitent

L'IA générative utilisant des modèles de langue à grande échelle tels que Chatgpt, Claude et Grok répondent de manière appropriée aux mots utilisateur comme un humain. Cependant, il y a une grande différence

The website 'Meaning Machine' provides a visually easy-to-understand view of how large-scale language models process language, which is different from how humans process language. Generative AI using large-scale language models such as ChatGPT, Claude, and Grok respond appropriately to user words just like a human. However, there is a big difference between how large-scale language models process language and how humans process language.

Le site Web «Signification Machine» offre une vue visuellement facile à comprendre de la façon dont les modèles de langue à grande échelle traitent le langage, ce qui est différent de la façon dont les humains traitent le langage. L'IA générative utilisant des modèles de langue à grande échelle tels que Chatgpt, Claude et Grok répondent de manière appropriée aux mots utilisateur comme un humain. Cependant, il existe une grande différence entre la façon dont les modèles de langue à grande échelle traitent la langue et la façon dont les humains traitent la langue.

The website 'Meaning Machine' provides a visually easy-to-understand view of how large-scale language models process language.

Le site Web «Signification Machine» offre une vue visuellement facile à comprendre de la façon dont les modèles de langue à grande échelle traitent la langue.

Meaning Machine · Streamlit

Signifiant machine · rational à rationalisation

Below that, the input sentence is split into words, and each word is shown with a numeric ID when it is represented as a 'token' by the large-scale language model.

En dessous, la phrase d'entrée est divisée en mots, et chaque mot est montré avec un ID numérique lorsqu'il est représenté comme un «jeton» par le modèle de langue à grande échelle.

Joshua Hathcock, the developer of Meaning Machine, explains that large-scale language models do not process entire sentences together, but rather split words and character sets into numerical IDs called tokens and process them abstractly. For example, in the case of the GPT model on which ChatGPT is based, common words such as 'The,' 'young,' 'student,' 'didn't,' and 'submit' are often represented by a single token, but rare words are split into multiple tokens made up of combinations of subwords. The large-scale language model then identifies the grammatical role of each token and infers the subject, verb, object, etc. of the sentence. In the example sentence, the subject is 'student,' the verb is 'submit,' and the object is 'report.'

Joshua Hathcock, le développeur de Signification Machine, explique que les modèles de langage à grande échelle ne traitent pas des phrases entières ensemble, mais plutôt des mots et des jeux de caractères divisés en ID numériques appelés jetons et les traitent de manière abstraite. Par exemple, dans le cas du modèle GPT sur lequel le chatppt est basé, des mots communs tels que «», «jeunes», «étudiants», «n'ont pas» et «soumis» sont souvent représentés par un jeton unique, mais les mots rares sont divisés en plusieurs jetons composés de combinaisons de sous-mots. Le modèle de langue à grande échelle identifie ensuite le rôle grammatical de chaque jeton et infère le sujet, le verbe, l'objet, etc. de la phrase. Dans l'exemple de phrase, le sujet est «étudiant», le verbe est «soumettre» et l'objet est «rapport».

The large-scale language model tags each token with its part of speech (POS), maps dependencies in a sentence, and structures and represents the sentence.

Le modèle de langue à grande échelle marque chaque jeton avec sa partie de la parole (POS), cartographie les dépendances dans une phrase et structure et représente la phrase.

The meaning of the dependency strings is explained in the table at the bottom of the Meaning Machine page.

La signification des chaînes de dépendance est expliquée dans le tableau au bas de la page de machine de sens.

Each token is then converted into a list (vector) of hundreds of numbers that capture its meaning and context. The figure below shows each token in the example sentence visualized in two dimensions through dimensionality reduction.

Chaque jeton est ensuite converti en une liste (vecteur) de centaines de nombres qui capturent sa signification et son contexte. La figure ci-dessous montre chaque jeton dans l'exemple de phrase visualisé en deux dimensions par la réduction de la dimensionnalité.

Below that is a tree showing the dependencies of each token, which shows which tokens depend on which other tokens, and what the whole picture means.

En dessous, un arbre montrant les dépendances de chaque jeton, qui montre quels jetons dépendent des autres jetons et de ce que signifie l'image.

You can navigate through the dependencies by dragging the bar at the bottom of the diagram left and right.

Vous pouvez naviguer à travers les dépendances en faisant glisser la barre au bas du diagramme à gauche et à droite.

In Meaning Machine, you can enter any sentence you like into the input form at the top of the page to see how the large-scale language model converts each word into a token and how it captures the dependencies of the entire sentence.

Dans Signification Machine, vous pouvez saisir n'importe quelle phrase que vous aimez dans le formulaire d'entrée en haut de la page pour voir comment le modèle de langue à grande échelle convertit chaque mot en jeton et comment il capture les dépendances de la phrase entière.

'These technical steps reveal something deeper: language models don't understand language the way humans do,' Hathcock said. 'They simulate language convincingly, but in a fundamentally different way. When you or I say 'dog,' we might recall the feel of fur, the sound of a bark, and even an emotional response. But when a large-scale language model sees the word 'dog,' it sees a vector of numbers formed by the frequency with which 'dog' appears near words like 'bark,' 'tail,' 'vet,' and so on. This is not wrong; it has statistical meaning. But this has no substance, no basis, no knowledge.' In other words, large-scale language models and humans process language fundamentally differently, and no matter how human-like a response may be, there are no beliefs or goals.

"Ces étapes techniques révèlent quelque chose de plus profond: les modèles de langue ne comprennent pas le langage comme les humains", a déclaré Hathcock. «Ils simulent la langue de manière convaincante, mais d'une manière fondamentalement différente. Lorsque vous ou moi disons «chien», nous nous souvenons peut-être de la sensation de fourrure, du son d'une écorce et même d'une réponse émotionnelle. Mais quand un modèle de langue à grande échelle voit le mot «chien», il voit un vecteur de nombres formés par la fréquence avec laquelle «chien» apparaît à proximité de mots comme «l'écorce», «queue», «vétérinaire», etc. Ce n'est pas faux; il a une signification statistique. Mais cela n'a pas de substance, aucune base, aucune connaissance. En d'autres termes, les modèles linguistiques à grande échelle et les humains traitent la langue fondamentalement différemment, et peu importe à quel point une réponse peut être humaine, il n'y a pas de croyances ou d'objectifs.

Despite this, large-scale language models are already widely used in society, creating people's resumes, filtering content, and sometimes even determining what is valuable. Since AI is already becoming a social infrastructure, Hathcock argued that it is important to know the difference in performance and understanding of large-scale language models.

Malgré cela, les modèles linguistiques à grande échelle sont déjà largement utilisés dans la société, créant des curriculum vitae des gens, filtrant le contenu et parfois même déterminant ce qui est précieux. Étant donné que l'IA devient déjà une infrastructure sociale, Hathcock a fait valoir qu'il est important de connaître la différence de performance et de compréhension des modèles linguistiques à grande échelle.