Aufmerksamkeit und Transformatoren erklärt und von Grund auf in PyTorch codiert (Multi-Head Attention) #ai #llm

Achtung, Multi-Head-Aufmerksamkeit und der vollständige Transformer, von Grund auf erklärt und von Grund auf in PyTorch codiert, wobei jeder Schritt von Hand an einem winzigen Beispiel und jede Tensorform auf dem Bildschirm ausgeführt wurde. Wir beginnen damit, warum wiederkehrende Netzwerke Probleme hatten, wandeln Wörter in Vektoren um und bauen die Aufmerksamkeit Schritt für Schritt auf: Skalarprodukte, Softmax, Abfragen, Schlüssel und Werte, warum wir durch die Quadratwurzel von d_k dividieren, Kausal- und Füllmasken. Dann Multi-Head-Aufmerksamkeit: Aufteilen von 512 Dimensionen in 8 Köpfe zu je 64, die Formen nach jeder Codezeile und eine Prüfung mit PyTorchs eigener nn.MultiheadAttention. Als nächstes der Rest des Transformers: sinusförmige Positionscodierungen, Restverbindungen und LayerNorm, der Feed-Forward-Block, Encoder- und Decoderschichten, Queraufmerksamkeit und die vollständige Architektur. Abschließend trainieren wir es live auf einer GPU, dekodieren Schritt für Schritt und schauen uns die gelernten Aufmerksamkeitskarten an. Das Wichtigste zum Mitnehmen: Aufmerksamkeit lässt jeden Token jeden anderen Token in einem Schritt betrachten, und das ist der gesamte Transformer. Zeitleiste 0:00 – 3:55 Warum Aufmerksamkeit 3:55 – 7:35 Wörter zu Vektoren werden 7:35 – 16:07 Aufmerksamkeit, Schritt für Schritt 16:07 – 19:12 Masken 19:12 – 26:50 Aufmerksamkeit mit mehreren Köpfen 26:50 – 32:48 Positionen, Normen und Feed-Forward 32:48 – 38:25 Der vollständige Transformer 38:25 – 44:30 Training und Inferenz 44:30 – 46:50 Zusammenfassung Abonnieren Sie für mehr: https://www.youtube.com/@mehdihosseinimoghadam GitHub: https://github.com/mehdihosseinimoghadam LinkedIn: https://linkedin.com/in/mehdi-hosseini-moghadam-384912198 #Transformer #Attention #SelfAttention #MultiHeadAttention #PyTorch #DeepLearning #MachineLearning #LLM #NLP #AI #Python #AttentionIsAllYouNeed #ArtificialIntelligence