bitcoin
bitcoin

$64655.836956 USD

0.17%

ethereum
ethereum

$1813.155616 USD

-0.72%

tether
tether

$0.998785 USD

-0.04%

bnb
bnb

$591.995648 USD

-0.06%

usd-coin
usd-coin

$0.999728 USD

0.00%

xrp
xrp

$0.994466 USD

3.66%

solana
solana

$74.869660 USD

2.81%

tron
tron

$0.308882 USD

1.18%

hyperliquid
hyperliquid

$68.784030 USD

-0.89%

zcash
zcash

$950.258001 USD

2.95%

monero
monero

$504.793222 USD

1.31%

dogecoin
dogecoin

$0.059505 USD

0.95%

unus-sed-leo
unus-sed-leo

$9.320653 USD

-0.01%

chainlink
chainlink

$9.249073 USD

0.88%

cardano
cardano

$0.154142 USD

0.59%

Nachrichtenvideo zur Kryptowährung

Lernen Sie Deep Learning Nr. 25: Positionskodierung: Warum Aufmerksamkeit gesagt werden muss. wo sie ist

Nov 19, 2026 at 01:00 am QED Realized

Episode 23 erregte Aufmerksamkeit und bewies, dass es permutationsäquivariant ist: Mischen Sie die Zeilen der Eingabe und die Zeilen der Ausgabe auf die gleiche Weise, sonst ändert sich nichts. Das ist ein Merkmal für eine Menge und eine Katastrophe für einen Satz, weil „die Katze saß“ und „die Katze saß“ zur gleichen Menge an Vektoren wird. Diese Episode beginnt mit der Darstellung dieses Scheiterns mit Zahlen an einem vierdimensionalen Spielzeug mit vier Spielsteinen: Die Aufmerksamkeitsausgabe auf die permutierte Eingabe ist genau die permutierte Ausgabe, bis zur letzten Dezimalstelle. Dann wird angegeben, was ein Positionscode zu tun hat, und die drei Möglichkeiten, auf die das Feld geantwortet hat, werden durchgearbeitet: eine gelernte Tabelle, die der Eingabe hinzugefügt wurde (2018), der Sinuscode von 2017 und rotierende Einbettungen (2021), mit ALiBi und gelernten relativen Verzerrungen daneben. Der Sinuscode erhält die volle Behandlung. Die Tabelle „d gleich 8“ für die Positionen 0 bis 7 wird berechnet und angezeigt, die geometrische Streuung der Wellenlängen von 2 pi bis etwa 10.000 mal 2 pi wird als fortlaufender binärer Zähler erklärt und der Satz, der die Sinus- und Cosinuswerte rechtfertigt, wird abgeleitet: Für jedes Frequenzpaar ist das Vorwärtsbewegen von k Positionen eine feste Drehung um 2 mal 2, die nur von k abhängt, sodass relative Versätze linear wiederherstellbar sind und das Skalarprodukt zweier Codes nur von ihrer Trennung abhängt. Rotierende Einbettungen werden in der komplexen Ebene abgeleitet, wo dieselbe Idee direkt auf dem Aufmerksamkeitswert landet. Das Spielzeug wird mit einem Positionscode erneut ausgeführt und die permutierte Ausgabe ist keine permutierte Kopie mehr. Auf der letzten Folie wird zwischen einem Theorem und einem empirischen Vergleich unterschieden, einschließlich des ehrlichen Stands der Längenverallgemeinerung. 📚 Fortsetzung in: → „Autoencoder und der Engpass als Komprimierung“ – bei der nächsten Architektur geht es überhaupt nicht um Sequenzen: ein Netzwerk, das durch eine enge Mitte gezwungen wird, und was es durch die Enge lernt. 🎓 Am besten geeignet für: Programmierer, Wissenschaftler und Mathematiker, die ein Deep-Learning-Framework verwendet haben und wissen möchten, was es eigentlich mit dem Rechnen auf sich hat – und Studenten, die die Theorie vor den Werkzeugen wollen. Kenntnisse im Umgang mit Vektoren, Matrizen und der Einzelvariablenrechnung werden vorausgesetzt; Wahrscheinlichkeit, Matrizenrechnung und Optimierung werden hier von Grund auf neu erstellt. – QED realisiert – Klare Erklärungen der Ideen, die einer echten Vorlesung bedürfen. 🔔 Abonnieren Sie, damit Sie den nächsten nicht verpassen: https://www.youtube.com/@QEDRealized ❤️ Unterstützen Sie mich auf Patreon: https://www.patreon.com/QEDRealized Diese Kurse sind kostenlos und bleiben kostenlos. Mit Patreon können Sie mich direkt unterstützen und dabei helfen, mehr von ihnen zu finanzieren – jede Zusage bringt mich näher an eine Vollzeitbeschäftigung heran. #DeepLearning #NeuralNetworks #MachineLearning #Transformers #MachineLearningMath – Tags (für die Suche) – Positionscodierung erklärt, warum Transformatoren Positionscodierung benötigen, Äquivarianzbeweis der Aufmerksamkeitspermutation, sinusförmige Positionscodierungsableitung, Sinus-Positionscodierungs-Rotationsmatrixeigenschaft, Positionscodierung Skalarprodukt hängt vom Offset ab, geometrische Wellenlängen 2 pi bis 10000 2 pi, binäre Zähleranalogie-Positionscodierung, erlernte absolute Position Einbettungen können nicht extrapoliert werden, Rotationsposition Einbettung Seilableitung komplexe Zahlen, Seil relative Positionseigenschaft, Alibi lineare Bias-Aufmerksamkeit, relative Positionsbias pro Offset, Längenverallgemeinerung Transformatoren empirisch, Vier-Token-Aufmerksamkeitsspielzeug mit und ohne Positionskodierung, Transformator Geschichte der Positionskodierung 2017 2018 2021, Deep-Learning-Kurs Folge 25, Positionskodierung Mathematik abgeleitet ⏱ Kapitel 0:00 Was heute baut 1:08 Der Satz aus Episode 23, angepasst 2:34 Vier Token, jede Zahl 3:57 Vier Anforderungen und drei Kandidaten, die sie nicht erfüllen 5:11 Die einfachste Injektion und ihre Grenze 6:24 Die Definition und jede Zahl 7:48 Warum die Frequenzen eine geometrische Leiter sind 8:59 Warum Sinus und Cosinus, abgeleitet 10:39 Das Skalarprodukt nur mit Offset, abgeleitet und dargestellt 11:58 Die gleichen vier Token, jetzt mit Position 13:26 Legen Sie die Rotation auf die Partitur selbst fest. 15:08 Bieten Sie die Partitur durch den Versatz an. 16:21 Epistemischer Status und fünf Daten. 18:00 Zusammenfassung. 19:18 Danke fürs Zuschauen
Videoquelle:Youtube

Haftungsausschluss:info@kdj.com

Die bereitgestellten Informationen stellen keine Handelsberatung dar. kdj.com übernimmt keine Verantwortung für Investitionen, die auf der Grundlage der in diesem Artikel bereitgestellten Informationen getätigt werden. Kryptowährungen sind sehr volatil und es wird dringend empfohlen, nach gründlicher Recherche mit Vorsicht zu investieren!

Wenn Sie glauben, dass der auf dieser Website verwendete Inhalt Ihr Urheberrecht verletzt, kontaktieren Sie uns bitte umgehend (info@kdj.com) und wir werden ihn umgehend löschen.

Weitere Videos veröffentlicht auf Nov 19, 2026