bitcoin
bitcoin

$64563.014144 USD

-0.49%

ethereum
ethereum

$1826.399090 USD

0.43%

tether
tether

$0.999126 USD

0.01%

bnb
bnb

$592.366491 USD

-0.04%

usd-coin
usd-coin

$0.999816 USD

0.00%

xrp
xrp

$0.959357 USD

0.17%

solana
solana

$72.829239 USD

2.32%

tron
tron

$0.305292 USD

0.83%

hyperliquid
hyperliquid

$69.398764 USD

4.43%

zcash
zcash

$923.127603 USD

2.96%

monero
monero

$498.263532 USD

1.92%

dogecoin
dogecoin

$0.058951 USD

0.22%

unus-sed-leo
unus-sed-leo

$9.321829 USD

1.58%

chainlink
chainlink

$9.169911 USD

0.22%

cardano
cardano

$0.153252 USD

-0.09%

Nachrichtenvideo zur Kryptowährung

Was passiert in einem KI-Chip. wenn Sie eine Frage stellen?

Nov 17, 2026 at 12:09 pm Ohmhytte

Ein moderner KI-Chip kann etwa tausend Billionen Berechnungen pro Sekunde durchführen. Stellen Sie ihm eine Frage, und die Antwort kommt immer noch Wortfragment nach dem anderen, während der Teil des Chips, der die Arithmetik durchführt, die meiste Zeit damit verbringt, zu warten. Worauf warten? Einer Frage, „Warum ist der Himmel blau?“, gehen wir durch den Chip nach. Der Text wird zu Token und dann zu ganzen Zahlen; jede Zahl wird zu einer Liste von Tausenden von Zahlen; und jede Schicht des Modells besteht größtenteils aus Matrixmultiplikation, die in Kacheln zerschnitten und auf die Tensorkerne des Chips verteilt wird. Die Frage wird auf einmal gelesen. Die Antwort kann jeweils nur in einem Token geschrieben werden, und für jeden neuen Token müssen nahezu alle Gewichtungen des Modells erneut aus dem Speicher gelesen werden: bei einem Modell mit acht Milliarden 16-Bit-Gewichten etwa 15 GB pro Token. Bei den 3,35 Terabyte pro Sekunde von NVIDIAs H100 dauert das etwa 4,5 Tausendstelsekunden, während die Berechnung selbst etwa 15 Millionstelsekunden dauern würde. Fügen Sie den KV-Cache hinzu, die Schlüssel und Werte, die für jedes frühere Token aufbewahrt werden, und Sie sehen, warum KI-Chips rund um den Speicher aufgebaut sind und warum Rechenzentren viele Konversationen in einem Lesevorgang zusammenfassen, Gewichte in weniger Bits speichern und große Modelle auf mehrere Chips aufteilen. Die angezeigten Token-IDs und Next-Token-Wahrscheinlichkeiten sind real: Sie stammen von einem kleinen Modell mit offenem Gewicht, dem für diesen Film dieselbe Frage gestellt wurde. Bei den H100-Zahlen handelt es sich um die von NVIDIA veröffentlichten Spitzenspezifikationen. Der Chip auf dem Bildschirm ist ein allgemeiner, stilisierter Beschleuniger, der für diesen Film gezeichnet wurde, nicht das Layout eines echten Chips; Bei den Timings handelt es sich um eine idealisierte Zählung (Spitzenraten, kein Overhead), sodass reale Systeme langsamer sind. und das 8-Milliarden-schwere Modell hat die veröffentlichte Form von Metas Llama 3 8B. Kapitel 0:00 Eine Frage, als Zahlen 1:15 Zahlenlisten 2:15 Arithmetik in Kacheln 3:34 Die Speicherwand 5:06 Ein Token, eine Schicht, eine Wahl 6:31 Mehr Menschen, weniger Bits, mehr Chips 8:01 Die Antwort, Stück für Stück Quellen – NVIDIA Technical Blog, „NVIDIA Hopper Architecture In-Depth“ (2022): https://developer.nvidia.com/blog/nvidia-hopper-architecture-in- Depth/ – NVIDIA, H100 Tensor Core GPU-Spezifikationen: https://www.nvidia.com/en-us/data-center/h100/ – NVIDIA Technical Blog, „NVIDIA Ampere Architecture In-Depth“ (2020): https://developer.nvidia.com/blog/nvidia-ampere-architecture-in-third/ – Technischer Blog von NVIDIA, „Beschleunigte Inferenz für große Transformer-Modelle mit NVIDIA Triton Inference Server und FasterTransformer“: https://developer.nvidia.com/blog/accelerated-inference-for-large-transformer-models-using-nvidia-fastertransformer-and-nvidia-triton-inference-server/ – NVIDIA Technical Blog, „Mastering LLM Techniques: Inference Optimization“: https://developer.nvidia.com/blog/mastering-llm-techniques-inference-optimization/ – NVIDIA Deep Learning Performance Leitfaden, „Hintergrund der Matrixmultiplikation“: https://docs.nvidia.com/deeplearning/performance/dl-performance-matrix-multiplication/index.html – A. Vaswani et al., „Attention Is All You Need“, NeurIPS 2017: https://arxiv.org/abs/1706.03762 – R. Sennrich, B. Haddow, A. Birch, „Neural Machine Translation of Rare Words with Subword Units“, ACL 2016: https://arxiv.org/abs/1508.07909 – J. Kaplan et al., „Scaling Laws for Neural Language Models“ (2020): https://arxiv.org/abs/2001.08361 – R. Pope et al., „Efficiently Scaling Transformer Inference“, MLSys 2023: https://arxiv.org/abs/2211.05102 – W. Kwon et al., „Efficient Memory Management for Large Language Model Serving with PagedAttention“, SOSP 2023: https://arxiv.org/abs/2309.06180 – J. Ainslie et al., „GQA: Training Generalized Multi-Query Transformer Models from Multi-Head Checkpoints“, EMNLP 2023: https://arxiv.org/abs/2305.13245 – Llama Team, AI @ Meta, „The Llama 3 Herd of Models“ (2024): https://arxiv.org/abs/2407.21783 – T. Dettmers et al., „LLM.int8(): 8-bit Matrix Multiplication for Transformers at Scale“, NeurIPS 2022: https://arxiv.org/abs/2208.07339 – E. Frantar et al., „GPTQ: Accurate Post-Training Quantization for Generative Pre-trained Transformers“, ICLR 2023: https://arxiv.org/abs/2210.17323 – J. Lin et al., „AWQ: Activation-aware Weight Quantization for LLM Compression and Acceleration“, MLSys 2024: https://arxiv.org/abs/2306.00978 – SK hynix Newsroom, „SK hynix Develops Industry’s First 12-Layer HBM3“: https://news.skhynix.com/sk-hynix-develops-industrys-first-12-layer-hbm3/ Musik und Soundeffekte: Original, für diesen Film gemacht. Schriftarten: Source Sans 3 (Adobe) und Figtree (Erik Kennedy), SIL Open Font License 1.1. #KI #Technologie #Wissenschaft #Ingenieurwesen #Computing
Videoquelle:Youtube

Haftungsausschluss:info@kdj.com

Die bereitgestellten Informationen stellen keine Handelsberatung dar. kdj.com übernimmt keine Verantwortung für Investitionen, die auf der Grundlage der in diesem Artikel bereitgestellten Informationen getätigt werden. Kryptowährungen sind sehr volatil und es wird dringend empfohlen, nach gründlicher Recherche mit Vorsicht zu investieren!

Wenn Sie glauben, dass der auf dieser Website verwendete Inhalt Ihr Urheberrecht verletzt, kontaktieren Sie uns bitte umgehend (info@kdj.com) und wir werden ihn umgehend löschen.

Weitere Videos veröffentlicht auf Nov 17, 2026