Mathematik für KI 02 | Warum Informationen in Bits gemessen werden

Mathematik für KI 02 Warum liefert eine faire Münze eine Information, während eine von acht gleichwahrscheinlichen Karten drei Informationen liefert? Folgen Sie den Auswahlmöglichkeiten, dem Binärbaum und dem Logarithmus, um zu sehen, wie die Wahrscheinlichkeit zu einem Maß für Informationen wird. In Episode 2 von Mathematics for AI erklären Emma, ​​Aoi und Norm Selbstinformationen (Überraschung), warum die Einheit die Basis zwei verwendet und warum Logarithmen Informationen aus aufeinanderfolgenden Schritten addieren lassen. Anschließend verwenden wir ein kleines Sprachmodellbeispiel, um die Bewertung eines beobachteten Tokens während des Trainings von der Auswahl des nächsten Tokens während der Generierung zu unterscheiden. 00:00 Ein Maß für Überraschung 00:57 Eine ausgewogene Wahl, ein Bit 01:59 Warum ein Logarithmus? 05:28 Das Modell ist wichtig 06:21 Bewertung einer KI-Vorhersage 09:21 Ein Ergebnis, dann ein Durchschnitt Die zentrale Definition ist I = −log₂(p), gemessen in Bits. Hier ist Überraschung eine mathematische Größe unter einem bestimmten Wahrscheinlichkeitsmodell, kein Maß für Emotion, Wichtigkeit oder Wahrheit. Die Wahrscheinlichkeiten des Sprachmodells sind anschauliche Beispiele und keine Messungen eines bestimmten KI-Systems. Serie: Mathematik für KI 01 – Bayes-Regel: Überzeugungen aktualisieren 02 – Informationen, Überraschungen und Bits (diese Folge) 03 – Entropie: Unsicherheit messen (nächste Folge) 04 – Kreuzentropie und Vorhersageverlust 05 – Wahrscheinlichkeitskalibrierung 06 – Gradientenabstieg und Lernen Zukünftige Themen und Reihenfolge sind vorläufig. Referenzen und weiterführende Literatur: Claude E. Shannon, A Mathematical Theory of Communication (1948): https://onlinelibrary.wiley.com/doi/pdf/10.1002/j.1538-7305.1948.tb01338.x Stanford EE276, Vorlesungsnotizen zur Informationstheorie: https://web.stanford.edu/class/ee276/files/ previous_notes/lecture_2.pdf Hugging Face Transformers, Perplexity: https://huggingface.co/docs/transformers/perplexity Hugging Face Transformers, Generationsstrategien: https://huggingface.co/docs/transformers/generation_strategies Originaldiagramme und Animation: Curiosity, Clearly. Fiktive illustrierte Moderatoren und synthetische Charakterstimmen. Wenn die Erklärung geholfen hat, liken Sie das Video und abonnieren Sie es. Welche alltägliche Vorhersage würden Sie in Bits messen? Sag es uns in den Kommentaren. #InformationTheory #MathematicsForAI #Bits Series-Playlist: https://www.youtube.com/playlist?list=PLGi5Uwmf0LpY Vorherige Folge: https://youtu.be/kS9gsyHW0yk