Qu’est-ce que le jeton exactement ? Une chaîne de chiffres qui relie les frais d'IA et la mémoire

Cette vidéo utilisera la métaphore des péages et des briques Lego pour expliquer d'un seul coup ce qu'est Token. J'expliquerai pourquoi les grands modèles découpent le texte en nombres que vous ne pouvez pas comprendre, comment ces nombres deviennent des unités de facturation et comment le « plafond de mémoire » du modèle est bloqué par le nombre de jetons. Après l'avoir lu, vous comprendrez que Token joue en réalité trois rôles à la fois : un traducteur, qui transforme le monde physique en symboles mathématiques ; une unité de mesure, qui détermine le coût de chaque appel au renseignement ; et un mur, qui délimite la quantité d'informations dont le modèle peut se souvenir à ce moment-là. C’est la logique sous-jacente de l’IA générative. La prochaine fois que vous ouvrirez la boîte de dialogue, vous verrez le jeton s'écouler derrière le texte.