Attention et transformateurs expliqués + codés à partir de zéro dans PyTorch (attention multi-têtes) #ai #llm

Attention, attention multi-têtes et Transformer complet, expliqué à partir de zéro et codé à partir de zéro dans PyTorch, avec chaque étape travaillée à la main sur un petit exemple et chaque forme de tenseur à l'écran. Nous commençons par pourquoi les réseaux récurrents ont eu des difficultés, transformons les mots en vecteurs et attirons l'attention étape par étape : produits scalaires, softmax, requêtes, clés et valeurs, pourquoi nous divisons par la racine carrée de d_k, les masques causals et de remplissage. Ensuite, attention multi-têtes : diviser 512 dimensions en 8 têtes de 64, les formes après chaque ligne de code et une vérification par rapport au propre nn.MultiheadAttention de PyTorch. Ensuite, le reste du Transformer : les codages de position sinusoïdaux, les connexions résiduelles et LayerNorm, le bloc de rétroaction, les couches d'encodeur et de décodeur, l'attention croisée et l'architecture complète. Enfin, nous l'entraînons en direct sur un GPU, décodons étape par étape et regardons les cartes d'attention qu'il a apprises. À retenir : l'attention permet à chaque jeton d'examiner tous les autres jetons en une seule étape, et c'est tout le Transformer. Chronologie 0:00 - 3:55 Pourquoi l'attention 3:55 - 7:35 Les mots deviennent des vecteurs 7:35 - 16:07 Attention, étape par étape 16:07 - 19:12 Masques 19:12 - 26:50 Attention multi-têtes 26:50 - 32:48 Positions, normes et feed-forward 32:48 - 38:25 Transformer complet 38h25 - 44h30 Formation et inférence 44h30 - 46h50 Résumé Abonnez-vous pour en savoir plus : https://www.youtube.com/@mehdihosseinimoghadam GitHub : https://github.com/mehdihosseinimoghadam LinkedIn : https://linkedin.com/in/mehdi-hosseini-moghadam-384912198 #Transformer #Attention #SelfAttention #MultiHeadAttention #PyTorch #DeepLearning #MachineLearning #LLM #NLP #AI #Python #AttentionIsAllYouNeed #ArtificialIntelligence