Vous êtes-vous déjà demandé à quoi servent réellement les jetons, les tokeniseurs et les vecteurs sémantiques (embeddings) dans #AI et #LLM ? Dans ce #tutoriel, nous décomposons les fondements mathématiques et géométriques fondamentaux de la façon dont les grands modèles de langage représentent le langage humain - tout en étant totalement francs sur chaque simplification en cours de route. L'orthographe humaine est étonnamment compliquée pour les réseaux de neurones : de minuscules modifications d'une seule lettre créent des mots totalement sans rapport, tandis que des concepts identiques semblent complètement différents selon les synonymes et les langues. Voyons comment l'IA moderne transforme le texte brut en géométrie et testons-le en direct dans le navigateur et en Python. Nous aborderons : - Pourquoi les mots humains bruts et les identifiants de dictionnaire n'ont aucune signification sémantique pour les réseaux de neurones - Comment les tokeniseurs compressent le texte en jetons de sous-mots et en identifiants de jeton entiers avant l'entraînement - Espaces vectoriels sémantiques - Quelques mathématiques - Démonstrations pratiques Table des matières (TOC) : 00:00 - Intro 00:22 - Pourquoi le langage humain est délicat pour les réseaux de neurones 02:38 - Les jetons et le fonctionnement du tokenizer 05:17 - Intégration de vecteurs et géométrie relationnelle 08:01 - Au-delà de la 2D : pourquoi des centaines ou des milliers de dimensions ? 09:58 - Produit scalaire, projections et similarité cosinus 12:55 - Vecteurs presque orthogonaux en grandes dimensions 15:14 - Recherche de matrice d'intégration 16:16 - Pratique : OpenAI Tokenizer 17:09 - Pratique : Vecteurs sémantiques Word2Vec en Python 19:11 - Mots aux significations multiples 21:03 - Résumé complet du voyage 22h05 - Quatre simplifications #ArtificialIntelligence #LLM #Embeddings #Vectors #Tokenization #MachineLearning #DeepLearning #Python #Word2Vec #NLP #GenerativeAI
Les informations fournies ne constituent pas des conseils commerciaux. kdj.com n’assume aucune responsabilité pour les investissements effectués sur la base des informations fournies dans cet article. Les crypto-monnaies sont très volatiles et il est fortement recommandé d’investir avec prudence après une recherche approfondie!
Si vous pensez que le contenu utilisé sur ce site Web porte atteinte à vos droits d’auteur, veuillez nous contacter immédiatement (info@kdj.com) et nous le supprimerons dans les plus brefs délais.