bitcoin
bitcoin

$61749.852536 USD

-2.87%

ethereum
ethereum

$1746.901387 USD

-2.99%

tether
tether

$0.998951 USD

0.00%

bnb
bnb

$570.354822 USD

-3.08%

usd-coin
usd-coin

$0.999847 USD

0.00%

xrp
xrp

$0.964077 USD

-1.51%

solana
solana

$72.457763 USD

-2.98%

tron
tron

$0.309430 USD

-1.07%

hyperliquid
hyperliquid

$65.860384 USD

-3.28%

zcash
zcash

$849.513512 USD

-9.37%

monero
monero

$480.434402 USD

-4.48%

dogecoin
dogecoin

$0.057407 USD

-3.21%

unus-sed-leo
unus-sed-leo

$9.205213 USD

-1.38%

chainlink
chainlink

$8.853249 USD

-3.27%

cardano
cardano

$0.149527 USD

-2.63%

Nachrichtenvideo zur Kryptowährung

Engram: Der N-Gramm-Suchspeicher von DeepSeek in einem LLM

Nov 02, 2026 at 12:22 am DATUREX GmbH

Das Engram von DeepSeek gibt einem Transformer eine Tabelle mit kurzen Token-Sequenzen, die er durch Nachschlagen liest, anstatt sie durch Berechnung neu abzuleiten. Das Video baut es aus klassischen N-Gramm-Zählungen auf: Token normalisieren, N-Gramm in Tabellen hashen, das Ergebnis in den verborgenen Zustand versetzen. Anschließend geht es um den gemeldeten Kompromiss zwischen Experten und Speicher, warum die Tabelle im CPU-Speicher liegen kann und was noch offen ist: Die Ergebnisse stammen von DeepSeek, aus einem Lauf pro Modell auf Basismodellen, ohne externe Wiederholung bei 27B bisher. 00:00 Eine Suche anstelle von Ebenen 00:26 Zählen, was als nächstes kommt 01:02 Was ein Transformator stattdessen tut 01:26 Schritt eins: Normalisieren 01:52 Schritt zwei: Hash in Tabellen 02:34 Schritt drei: Gate und Addition 03:09 Zwei Arten von Sparsity 03:54 Was DeepSeek mit 27 Milliarden meldet 04:22 Warum die Tabelle von der GPU leben kann 04:53 Was wir wissen und was wir nicht wissen 05:29 Zusammenfassung Die Zahlen im Video N-Gramm zählt (Korpus des Berkeley Restaurant Project; Jurafsky & Martin, Abb. 3.1-3.2, Gleichung 3.11): „to“ folgt „want“ 608 von 927 Malen, also P(to | want) = 608 / 927 = 0,66. Shakespeare, V = 29.066: etwa 844 Millionen mögliche Bigramme, von denen die meisten nie vorkommen (SLP3 Abschnitt 3.5). Schichtenleiter (Illustration von Ghandeharioun et al. 2024, wiedergegeben im Engram-Papier, Tabelle 3): Für „Diana, Prinzessin von Wales“ lesen die ersten Schichten ein Land im Vereinigten Königreich, Schicht 4 den Titel, Schicht 6 die Person. Keine Engrammmessung. Normalisierung: Durch die Zuordnung von Token-IDs, die sich nur in der Groß-/Kleinschreibung oder in der Unicode-Form unterscheiden, zu einer ID wird das effektive Vokabular des 128k-Tokenizers von DeepSeek um 23 % verkleinert (Engram-Artikel Abschnitt 2.2, Anhang C). Bei den abgebildeten Ausweisen handelt es sich um Spielzeug-Ausweise. Hash- und Gate-Beispiele verwenden TOY-Zahlen, keine echten Tokenizer-Werte (Hash: zwei Multiplikatoren kombiniert mit Exklusiv-Oder, Tabellengrößen 11 und 13; Gate: d = 4). Mehrere Hash-Köpfe machen einen Konflikt in jeder Tabelle unwahrscheinlich. Die Gate-Formel stammt aus dem Engrammpapier, Abschnitt 2.3, Gl. (3)-(5). Zuweisungs-Sweep (DeepSeeks eigene Pre-Training-Läufe in zwei Größen, etwa 5,7B und 9,9B Gesamtparameter, feste Sparsity): Bei dem Budget von 6e20 FLOPs beträgt der Validierungsverlust 1,7248 mit allen Ersatzparametern in Experten und 1,7109 bei fast 80 % Experten; die beste Mischung brachte Engram 20–25 % des Ersatzbudgets ein; Da der Expertenanteil auf etwa 40 % reduziert wurde, entsprach das Modell nur der Basislinie, die ausschließlich aus Experten bestand. Die Kurve zwischen den markierten Punkten ist eine schematische Form und keine aus der Abbildung abgelesenen Werte (Engrammpapier Abschnitt 3.1, Abb. 3). 27B-Vergleich (DeepSeeks eigene Ergebnisse, vorab trainierte Basismodelle, ein gemeldeter Lauf pro Modell, von den Autoren bewertet, eine Skala): MoE-27B vs. Engram-27B, beide 26,7B Gesamt- und 3,8B aktive Parameter, trainiert auf 262B-Tokens; 72 geroutete Experten vs. 55 Experten plus 5,7 Milliarden Parameter des Engram-Speichers. MMLU 57,4 bis 60,4, BBH 50,9 bis 55,9, HumanEval 37,8 bis 40,8; Engram-27B ist bei allen 27 Benchmarks in Tabelle 1 höher. In der Zusammenfassung steht MMLU +3,4; In der Tabelle, die das Video verwendet, steht +3,0. Offload: Eine Engram-Tabelle mit 100 B-Parametern, die vollständig im Hostspeicher gespeichert ist, kostet 2,8 % Durchsatz bei einem 8-B-dichten Modell (6.315,52 bis 6.140,02 Token pro Sekunde; 1,9 % bei einem 4-B-dichten Modell); NVIDIA H800, eine Arbeitslast, nur dichte Backbones, nicht gemessen mit einem MoE-Backbone oder Engram-27B selbst (Engram-Papier Abschnitt 6.4, Tabelle 4). Externe Prüfung, viel kleinerer Maßstab (Memory Grafting Preprint, Tsinghua University und Microsoft Research Asia, Neun-Benchmark-Durchschnitt gegenüber einem ähnlichen MoE): 2,8B trainierbare Parameter, 51,95 für das MoE vs. 52,43 für Engram, +0,48; 0,92B, 45,62 gegenüber 45,03, -0,59, und dieser Rückgang kommt von einem Test (BoolQ). Andere Daten, Benchmarks und Skalierung als bei DeepSeek; Die Zahlen von DeepSeek werden nicht getestet. Wir haben zum 31.10.2026 keine externe Wiederholung des 27B-Ergebnisses gefunden. DeepSeeks eigene spätere Verwendung: Die DeepSeek-V4.1-Flash-Modellkarte listet den bedingten Engram-Speicher von 196B-Parametern auf. Das ist die Entscheidung von DeepSeek und kein Beweis von außen. Jedes Ergebnis gilt für die in seiner Quelle genannten Modelle und Einstellungen. Quellen Cheng et al. (Peking University, DeepSeek-AI): Conditional Memory via Scalable Lookup: A New Axis of Sparsity for Large Language Models (2026): https://arxiv.org/abs/2601.07372 deepseek-ai/Engram, offizielles Repository: https://github.com/deepseek-ai/Engram Jurafsky & Martin: Speech and Language Processing, 3. Auflage. Entwurf, Kapitel 3 „N-gram Language Models“: https://web.stanford.edu/~jurafsky/slp3/3.pdf Svenstrup, Hansen, Winther: Hash Embeddings for Efficient Word Representations (2017): https://arxiv.org/abs/1709.03933 Shazeer et al.: Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer (2017): https://arxiv.org/abs/1701.06538 Cheng et al. (Tsinghua University, Microsoft Research Asia): Memory Grafting (Preprint, 2026): https://arxiv.org/abs/2605.20948 DeepSeek-V4.1-Flash-Modellkarte: https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash Teil der Serie LLM internals. Deutsche Fassung: ‹Link nach Upload› Drehbuch, Erzählung und Musik sind KI-generiert und wurden mit den zitierten Quellen abgeglichen. Musik: Stable Audio 3 – Unterstützt durch Stability AI.
Videoquelle:Youtube

Haftungsausschluss:info@kdj.com

Die bereitgestellten Informationen stellen keine Handelsberatung dar. kdj.com übernimmt keine Verantwortung für Investitionen, die auf der Grundlage der in diesem Artikel bereitgestellten Informationen getätigt werden. Kryptowährungen sind sehr volatil und es wird dringend empfohlen, nach gründlicher Recherche mit Vorsicht zu investieren!

Wenn Sie glauben, dass der auf dieser Website verwendete Inhalt Ihr Urheberrecht verletzt, kontaktieren Sie uns bitte umgehend (info@kdj.com) und wir werden ihn umgehend löschen.

Weitere Videos veröffentlicht auf Nov 20, 2026