Wie KI tatsächlich funktioniert (es geht nur darum. das nächste Wort zu erraten)

Wie funktioniert KI eigentlich? Jede Antwort eines Chatbots wie ChatGPT, Claude oder Gemini wird Token für Token geschrieben, wobei ein großes Sprachmodell das nächste Wort errät. Dieser visuelle Erklärer folgt einer Eingabeaufforderung durch die gesamte Maschine. Es beginnt im Jahr 1948, als Claude Shannon einen Satz bildete, indem er ein Buch durchblätterte und Wort für Wort erriet. Beinahe hätte es funktioniert, dann ist es auseinandergefallen. Heute ist das Ziel dasselbe, aber die Maschine kann auf alles zurückblicken, was sie gelesen hat. Wir folgen „Der erste Mensch, der den Mond betrat…“ von Tokens über Vektoren, durch Aufmerksamkeit und 96 Ebenen bis hin zu einer Liste von Wahrscheinlichkeiten und dem einen Wort, das ausgewählt wird. Dann schauen wir uns das Training an, warum Modelle zuversichtlich klingen, wenn sie falsch liegen, und wie weit Vorhersagen gehen können. In diesem Video: • Was ein großes Sprachmodell (LLM) ist und was „Parameter“ sind • Token: wie Text in Stücke geschnitten und in Zahlen umgewandelt wird • Vektoren und Worteinbettungen (Bengio, 2003) • Achtung: Abfragen, Schlüssel und Werte, visuell erklärt (Vaswani et al., 2017) • Softmax, Wahrscheinlichkeiten und Temperatur: wie der nächste Token ausgewählt wird • Training, Feinabstimmung und menschliches Feedback • Warum KI Halluzinationen, Kontextfenster und Wissensgrenzen KAPITEL Wie Modelle zur Vorhersage des nächsten Wortes tatsächlich Text erzeugen. Sehen Sie sich die Logik hinter probabilistischen Sprachmodellen und Aufmerksamkeit an. Die meisten Menschen gehen davon aus, dass KI-Modelle wie Menschen denken, aber in Wirklichkeit handelt es sich um statistische Maschinen. In diesem Film wird erläutert, wie Modelle zur Vorhersage des nächsten Wortes die Wahrscheinlichkeit des nächsten Tokens basierend auf Trainingsdaten berechnen. Wir untersuchen die ursprünglichen Experimente von Claude Shannon und wie sie sich zur Architektur moderner Systeme entwickelten. Über die einfache Wahrscheinlichkeit hinaus untersuchen wir Wortvektoren und Aufmerksamkeitsmechanismen, um zu zeigen, wie Maschinen Kontext verarbeiten. Sie erfahren, warum diese Systeme manchmal unsinnige Ausgaben erzeugen und wie sie Sprache in den mathematischen Raum abbilden. Das Verständnis dieser Grundprinzipien ist für jeden, der mit großen Sprachmodellen baut oder diese erforscht, von entscheidender Bedeutung. Stapel Null. Komplexe Systeme. Klare Erklärungen. Echte Wirkung. Abonnieren Sie wöchentliche Aufschlüsselungen der Technologie hinter moderner Software. 0:00 Ein Experiment zum Erraten von Wörtern aus dem Jahr 1948 0:40 Heutige Chatbots: Erraten immer noch das nächste Wort 1:41 Was für ein großes Sprachmodell ist 2:02 Token und die Vorhersageschleife 2:41 Warum Shannons Satz auseinanderfiel 2:56 Shannons menschliches Ratespiel (1951) 3:32 Wörter zählen: n-Gramm 3:57 Wortvektoren (2003) 4:19 Aufmerksamkeit kommt an (2014) 4:41 Transformers: „Attention Is All You Need“ (2017) 5:07 Im Modell: eine Eingabeaufforderung, Schritt für Schritt 5:15 Schritt 1: Tokens 5:38 Schritt 2: Vektoren 6:01 Schritt 3: Aufmerksamkeit (Abfrage, Schlüssel, Wert) 6:49 Aufmerksamkeitsköpfe 7:04 96 Schichten und Feed-Forward-Netzwerke 7:33 Schritt 4: Wahrscheinlichkeiten und Softmax 7:48 Schritt 5: Auswahl des nächsten Tokens (Greed, Sampling, Temperatur) 8:14 Die Schleife: ein Token nach dem anderen 8:33 Training: Shannons Spiel im Maßstab 9:16 Vom Prädiktor zum Assistenten 9:34 Eine Schleife, viele Produkte 9:45 Warum KI halluziniert 10:18 Kontextfenster, Grenzwerte und Quellen 10:37 Zusammenfassung: die ganze Maschine 10:59 Wie weit kann eine Vorhersage gehen? Die Zahlen auf dem Bildschirm dienen der Veranschaulichung, es sei denn, es wird eine Quelle angegeben. QUELLEN • Shannon (1948), A Mathematical Theory of Communication: https://people.csail.mit.edu/dmoshkov/courses/codes/shannon1948.pdf • Shannon (1951), Prediction and Entropy of Gedrucktes Englisch: https://sites.socsci.uci.edu/~rfutrell/teaching/itl-davis/readings/shannon1951prediction.pdf • Bengio et al. (2003), A Neural Probabilistic Language Model: https://www.jmlr.org/papers/v3/bengio03a.html • Bahdanau, Cho & Bengio (2014), Neural Machine Translation by Jointly Learning to Align and Translate: https://arxiv.org/abs/1409.0473 • Vaswani et al. (2017), Aufmerksamkeit ist alles, was Sie brauchen: https://arxiv.org/abs/1706.03762 • Brown et al. (2020), Language Models are Few-Shot Learners (GPT-3): https://arxiv.org/abs/2005.14165 • Meta (2024), Einführung in Meta Llama 3: https://ai.meta.com/blog/meta-llama-3/ • OpenAI-Hilfe, Was sind Token und wie zählt man sie: https://help.openai.com/en/articles/4936856 • Geva et al. (2021), Transformer Feed-Forward Layers Are Key-Value Memories: https://arxiv.org/abs/2012.14913 • Ouyang et al. (2022), Sprachmodelle trainieren, um Anweisungen mit menschlichem Feedback zu befolgen: https://arxiv.org/abs/2203.02155 • OpenAI (2025), Warum Sprachmodelle halluzinieren: https://openai.com/index/why-lingual-models-hallucinate/ • Olsson et al. (2022), In-context Learning and Induction Heads: https://transformer-Circuits.pub/2022/in-context-learning-and-induction-heads/index.html Stack Zero erklärt die Systeme hinter alltäglicher Technologie von Grund auf. #AI #LLM #HowAIWorks