|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Vidéo d’actualité sur les crypto-monnaies
Attention et transformateurs expliqués + codés à partir de zéro dans PyTorch (attention multi-têtes) #ai #llm
Oct 02, 2026 at 05:40 pm Mehdi Hosseini Moghadam
Attention, attention multi-têtes et Transformer complet, expliqué à partir de zéro et codé à partir de zéro dans PyTorch, avec chaque étape travaillée à la main sur un petit exemple et chaque forme de tenseur à l'écran. Nous commençons par pourquoi les réseaux récurrents ont eu des difficultés, transformons les mots en vecteurs et attirons l'attention étape par étape : produits scalaires, softmax, requêtes, clés et valeurs, pourquoi nous divisons par la racine carrée de d_k, les masques causals et de remplissage. Ensuite, attention multi-têtes : diviser 512 dimensions en 8 têtes de 64, les formes après chaque ligne de code et une vérification par rapport au propre nn.MultiheadAttention de PyTorch. Ensuite, le reste du Transformer : les codages de position sinusoïdaux, les connexions résiduelles et LayerNorm, le bloc de rétroaction, les couches d'encodeur et de décodeur, l'attention croisée et l'architecture complète. Enfin, nous l'entraînons en direct sur un GPU, décodons étape par étape et regardons les cartes d'attention qu'il a apprises. À retenir : l'attention permet à chaque jeton d'examiner tous les autres jetons en une seule étape, et c'est tout le Transformer. Chronologie 0:00 - 3:55 Pourquoi l'attention 3:55 - 7:35 Les mots deviennent des vecteurs 7:35 - 16:07 Attention, étape par étape 16:07 - 19:12 Masques 19:12 - 26:50 Attention multi-têtes 26:50 - 32:48 Positions, normes et feed-forward 32:48 - 38:25 Transformer complet 38h25 - 44h30 Formation et inférence 44h30 - 46h50 Résumé Abonnez-vous pour en savoir plus : https://www.youtube.com/@mehdihosseinimoghadam GitHub : https://github.com/mehdihosseinimoghadam LinkedIn : https://linkedin.com/in/mehdi-hosseini-moghadam-384912198 #Transformer #Attention #SelfAttention #MultiHeadAttention #PyTorch #DeepLearning #MachineLearning #LLM #NLP #AI #Python #AttentionIsAllYouNeed #ArtificialIntelligence
Clause de non-responsabilité:info@kdj.com
Les informations fournies ne constituent pas des conseils commerciaux. kdj.com n’assume aucune responsabilité pour les investissements effectués sur la base des informations fournies dans cet article. Les crypto-monnaies sont très volatiles et il est fortement recommandé d’investir avec prudence après une recherche approfondie!
Si vous pensez que le contenu utilisé sur ce site Web porte atteinte à vos droits d’auteur, veuillez nous contacter immédiatement (info@kdj.com) et nous le supprimerons dans les plus brefs délais.
-
- NOUVELLE MISE À JOUR DE PI NETWORK : PI NETWORK BANK CONNECTÉE INSTANTANÉMENT AU MAINNET — OFFICIELLE 2026 ! 🚨🔥
- Oct 02, 2026 at 05:40 pm CRYPTO NEWS NOW
- NOUVELLE MISE À JOUR DE PI NETWORK : PI NETWORK BANK CONNECTÉE INSTANTANÉMENT AU MAINNET — OFFICIELLE 2026 ! 🚨🔥 Les banques mondiales se connectent-el...
-
-
- 🚨 Bitcoin est-il une GRANDE AFFAIRE À VENIR ? LA NOUVELLE CIBLE EST CLAIRE ! Diffusion en direct de dernière minute du BTC
- Oct 02, 2026 at 05:40 pm Arines Trade
- Dans cette émission, nous avons fait une diffusion en direct de l'analyse technique du bitcoin pour vous, diffusion en direct du bitcoin, le bitco...
-
-
- 🚨 Pi Network Day 3 Dernières nouvelles !😄 Hackathon de 200 000 USDT et incitation Pi de 20 millions @Mohancryptoupdate
- Oct 02, 2026 at 05:40 pm Mohan Crypto update
- 🚨 Pi Network Day 3 Dernières nouvelles !😄 Hackathon de 200 000 USDT et 20 millions d'incitations Pi @Mohancryptoupdate 🚀 Grande nouvelle liée au P...
-
- 【ENG SUB】Il ne s'attendait pas à ce que juste après avoir voyagé dans le temps et être devenu un prince bon à rien, sa belle-mère piégerait une belle femme pour qu'elle danse comme une fée et qu'il serait expulsé de la maison ? ! #MiniDrama #Merveilleux court métrage dramatique du continent
- Oct 02, 2026 at 05:40 pm 风云剧场
- 【Théâtre Fengyun】 Pièces courtes mises à jour quotidiennement ! Véritablement autorisé! Emmenez-vous en voir assez! Bienvenue à vous abonner et merci ...
-
- [Multi SUB] (Épisode complet) Lu Qingyuan a gentiment pris soin de Lin Xiaofeng pendant trois ans, mais il a utilisé de manière inattendue son identité pour prétendre être une riche deuxième génération. La fête de fiançailles a été révélée en public, et le menteur a été ruiné ! #Recommandation de courts métrages dramatiques les plus populaires#Collection complète de courts métrages dramatiques#Merveilleux courts métrages dramatiques du continent
- Oct 02, 2026 at 05:40 pm 爽劇無界
- 🔥"Le drame amusant n'a pas de frontières, cliquez et remplissez-le s'il vous plaît !" 🌟 Bonjour les frères ~ Ceci est [Le drame amus...
-
- J'ai payé tout l'argent pour acheter un B&B pour que mon frère puisse le gérer, mais quand je suis rentré chez moi pour rester pendant la fête nationale, ma belle-sœur a demandé les frais de chambre ! J'ai vendu le B&B de manière décisive et la famille de mon frère est devenue folle !
- Oct 02, 2026 at 05:40 pm 魔法剧场
- Bienvenue sur "Magic Theatre" 💕 #aidrama #Drama #AI ✅ Tous les épisodes de cette chaîne sont des expressions artistiques et le contenu est c...
-
























