bitcoin
bitcoin

$61749.852536 USD

-2.87%

ethereum
ethereum

$1746.901387 USD

-2.99%

tether
tether

$0.998951 USD

0.00%

bnb
bnb

$570.354822 USD

-3.08%

usd-coin
usd-coin

$0.999847 USD

0.00%

xrp
xrp

$0.964077 USD

-1.51%

solana
solana

$72.457763 USD

-2.98%

tron
tron

$0.309430 USD

-1.07%

hyperliquid
hyperliquid

$65.860384 USD

-3.28%

zcash
zcash

$849.513512 USD

-9.37%

monero
monero

$480.434402 USD

-4.48%

dogecoin
dogecoin

$0.057407 USD

-3.21%

unus-sed-leo
unus-sed-leo

$9.205213 USD

-1.38%

chainlink
chainlink

$8.853249 USD

-3.27%

cardano
cardano

$0.149527 USD

-2.63%

Nachrichtenvideo zur Kryptowährung

Aufmerksamkeit und Transformatoren erklärt und von Grund auf in PyTorch codiert (Multi-Head Attention) #ai #llm

Oct 02, 2026 at 05:40 pm Mehdi Hosseini Moghadam

Achtung, Multi-Head-Aufmerksamkeit und der vollständige Transformer, von Grund auf erklärt und von Grund auf in PyTorch codiert, wobei jeder Schritt von Hand an einem winzigen Beispiel und jede Tensorform auf dem Bildschirm ausgeführt wurde. Wir beginnen damit, warum wiederkehrende Netzwerke Probleme hatten, wandeln Wörter in Vektoren um und bauen die Aufmerksamkeit Schritt für Schritt auf: Skalarprodukte, Softmax, Abfragen, Schlüssel und Werte, warum wir durch die Quadratwurzel von d_k dividieren, Kausal- und Füllmasken. Dann Multi-Head-Aufmerksamkeit: Aufteilen von 512 Dimensionen in 8 Köpfe zu je 64, die Formen nach jeder Codezeile und eine Prüfung mit PyTorchs eigener nn.MultiheadAttention. Als nächstes der Rest des Transformers: sinusförmige Positionscodierungen, Restverbindungen und LayerNorm, der Feed-Forward-Block, Encoder- und Decoderschichten, Queraufmerksamkeit und die vollständige Architektur. Abschließend trainieren wir es live auf einer GPU, dekodieren Schritt für Schritt und schauen uns die gelernten Aufmerksamkeitskarten an. Das Wichtigste zum Mitnehmen: Aufmerksamkeit lässt jeden Token jeden anderen Token in einem Schritt betrachten, und das ist der gesamte Transformer. Zeitleiste 0:00 – 3:55 Warum Aufmerksamkeit 3:55 – 7:35 Wörter zu Vektoren werden 7:35 – 16:07 Aufmerksamkeit, Schritt für Schritt 16:07 – 19:12 Masken 19:12 – 26:50 Aufmerksamkeit mit mehreren Köpfen 26:50 – 32:48 Positionen, Normen und Feed-Forward 32:48 – 38:25 Der vollständige Transformer 38:25 – 44:30 Training und Inferenz 44:30 – 46:50 Zusammenfassung Abonnieren Sie für mehr: https://www.youtube.com/@mehdihosseinimoghadam GitHub: https://github.com/mehdihosseinimoghadam LinkedIn: https://linkedin.com/in/mehdi-hosseini-moghadam-384912198 #Transformer #Attention #SelfAttention #MultiHeadAttention #PyTorch #DeepLearning #MachineLearning #LLM #NLP #AI #Python #AttentionIsAllYouNeed #ArtificialIntelligence
Videoquelle:Youtube

Haftungsausschluss:info@kdj.com

Die bereitgestellten Informationen stellen keine Handelsberatung dar. kdj.com übernimmt keine Verantwortung für Investitionen, die auf der Grundlage der in diesem Artikel bereitgestellten Informationen getätigt werden. Kryptowährungen sind sehr volatil und es wird dringend empfohlen, nach gründlicher Recherche mit Vorsicht zu investieren!

Wenn Sie glauben, dass der auf dieser Website verwendete Inhalt Ihr Urheberrecht verletzt, kontaktieren Sie uns bitte umgehend (info@kdj.com) und wir werden ihn umgehend löschen.

Weitere Videos veröffentlicht auf Nov 20, 2026