bitcoin
bitcoin

$64680.919593 USD

0.19%

ethereum
ethereum

$1813.012861 USD

-0.81%

tether
tether

$0.999057 USD

-0.01%

bnb
bnb

$592.225660 USD

-0.07%

usd-coin
usd-coin

$1.000046 USD

0.03%

xrp
xrp

$0.987426 USD

2.83%

solana
solana

$74.850331 USD

2.91%

tron
tron

$0.309124 USD

0.97%

hyperliquid
hyperliquid

$68.963917 USD

-1.11%

zcash
zcash

$955.109083 USD

3.86%

monero
monero

$505.925658 USD

1.54%

dogecoin
dogecoin

$0.059410 USD

0.76%

unus-sed-leo
unus-sed-leo

$9.297692 USD

-0.13%

chainlink
chainlink

$9.243568 USD

0.79%

cardano
cardano

$0.153836 USD

0.30%

Vidéo d’actualité sur les crypto-monnaies

Apprendre le Deep Learning #25 : Encodage positionnel : pourquoi l'attention doit être indiquée là où elle se trouve

Nov 19, 2026 at 01:00 am QED Realized

L'épisode 23 a attiré l'attention et a prouvé qu'il est équivariant à la permutation : mélangez les lignes de l'entrée et les lignes de la sortie de la même manière, rien d'autre ne change. C'est une fonctionnalité pour un ensemble et un désastre pour une phrase, car « le chat assis » et « assis le chat » deviennent le même sac de vecteurs. Cet épisode commence par montrer cet échec avec les nombres, sur un jouet à quatre jetons et en quatre dimensions : l'attention émise sur l'entrée permutée est exactement la sortie permutée, à la dernière décimale. Ensuite, il indique ce qu'un code de position doit faire et fonctionne à travers les trois manières auxquelles le champ a répondu : une table apprise ajoutée à l'entrée (2018), le code sinusoïdal de 2017 et les intégrations rotatives (2021), avec ALiBi et les biais relatifs appris en parallèle. Le code sinusoïdal reçoit le traitement complet. Le tableau d est égal à 8 pour les positions 0 à 7 est calculé et affiché, l'étalement géométrique des longueurs d'onde de 2 pi à environ 10 000 fois 2 pi est expliqué comme un compteur binaire rendu continu, et le théorème qui justifie les sinus et les cosinus est dérivé : pour chaque paire de fréquences, avancer de k positions est une rotation fixe de 2 par 2 qui dépend de k seul, donc les décalages relatifs sont récupérables linéairement, et le produit scalaire de deux codes ne dépend que de leur séparation. Les plongements rotatifs sont dérivés dans le plan complexe, où la même idée atterrit directement sur le score d'attention. Le jouet est réexécuté avec un code de position et la sortie permutée n'est plus une copie permutée. La dernière diapositive sépare ce qui est un théorème de ce qui est une comparaison empirique, y compris l'état honnête de la généralisation des longueurs. 📚 Continue dans : → « Les auto-encodeurs et le goulot d'étranglement en tant que compression » — la prochaine architecture ne concerne pas du tout les séquences : un réseau forcé à travers un milieu étroit, et ce que l'étroitesse lui fait apprendre. 🎓 Idéal pour : les programmeurs, les scientifiques et les mathématiciens qui ont utilisé un cadre d'apprentissage profond et veulent savoir de quoi il s'agit réellement - et les étudiants qui veulent la théorie avant les outils. L'aisance avec les vecteurs, les matrices et le calcul à variable unique est supposée ; les probabilités, le calcul matriciel et l'optimisation sont construits ici à partir de zéro. — QED réalisé — Des explications claires des idées qui nécessitent une véritable conférence pour atterrir. 🔔 Abonnez-vous pour ne pas rater le prochain : https://www.youtube.com/@QEDRealized ❤️ Soutenez-moi sur Patreon : https://www.patreon.com/QEDRealized Ces cours sont gratuits et ils le restent. Patreon est la façon dont vous pouvez me soutenir directement et aider à en financer davantage – chaque engagement rapproche cela d'un travail à temps plein. #DeepLearning #NeuralNetworks #MachineLearning #Transformers #MachineLearningMath — Balises (pour la recherche) — codage de position expliqué, pourquoi les transformateurs ont besoin d'un codage de position, preuve d'équivariance de permutation d'attention, dérivation de codage de position sinusoïdale, propriété de matrice de rotation de codage de position sin cos, produit scalaire de codage de position dépend du décalage, longueurs d'onde géométriques 2 pi à 10000 2 pi, analogie de compteur binaire positionnel encodage, les intégrations de position absolue apprises ne peuvent pas extrapoler, position rotative intégrant les nombres complexes de dérivation de corde, propriété de position relative de corde, attention de biais linéaire alibi, biais de position relative par décalage, transformateurs de généralisation de longueur empiriques, jouet d'attention à quatre jetons avec et sans codage de position, historique du codage de position du transformateur 2017 2018 2021, épisode de cours d'apprentissage profond 25, codage de position dérivé des mathématiques ⏱ Chapitres 0:00 Ce qui se construit aujourd'hui 1:08 Le théorème de l'épisode 23, reformulé 2:34 Quatre jetons, chaque nombre 3:57 Quatre exigences et trois candidats qui n'y répondent pas 5:11 L'injection la plus simple et sa limite 6:24 La définition et chaque nombre 7:48 Pourquoi les fréquences sont une échelle géométrique 8:59 Pourquoi les sinus et les cosinus sont dérivés 10:39 Le produit scalaire offset uniquement, dérivé et tracé 11:58 Les mêmes quatre jetons, maintenant avec la position 13:26 Mettez la rotation sur le score lui-même 15:08 Biais le score par le décalage 16:21 Statut épistémique et cinq dates 18:00 Récapitulatif 19:18 Merci d'avoir regardé
Source vidéo:Youtube

Clause de non-responsabilité:info@kdj.com

Les informations fournies ne constituent pas des conseils commerciaux. kdj.com n’assume aucune responsabilité pour les investissements effectués sur la base des informations fournies dans cet article. Les crypto-monnaies sont très volatiles et il est fortement recommandé d’investir avec prudence après une recherche approfondie!

Si vous pensez que le contenu utilisé sur ce site Web porte atteinte à vos droits d’auteur, veuillez nous contacter immédiatement (info@kdj.com) et nous le supprimerons dans les plus brefs délais.

Autres vidéos publiées sur Nov 19, 2026