bitcoin
bitcoin

$64557.648852 USD

-0.24%

ethereum
ethereum

$1828.511433 USD

0.69%

tether
tether

$0.999046 USD

0.00%

bnb
bnb

$592.711732 USD

0.04%

usd-coin
usd-coin

$0.999776 USD

0.01%

xrp
xrp

$0.960408 USD

0.46%

solana
solana

$72.759121 USD

2.17%

tron
tron

$0.306146 USD

1.23%

hyperliquid
hyperliquid

$69.748274 USD

5.04%

zcash
zcash

$919.909518 USD

3.36%

monero
monero

$498.240193 USD

2.87%

dogecoin
dogecoin

$0.058956 USD

0.13%

unus-sed-leo
unus-sed-leo

$9.310237 USD

1.15%

chainlink
chainlink

$9.171915 USD

0.34%

cardano
cardano

$0.153379 USD

0.36%

Vidéo d’actualité sur les crypto-monnaies

Que se passe-t-il à l'intérieur d'une puce IA lorsque vous posez une question

Nov 17, 2026 at 12:09 pm Ohmhytte

Une puce d’IA moderne peut effectuer environ mille milliards de calculs par seconde. Posez-lui une question, et la réponse arrive toujours fragment de mot à la fois, tandis que la partie de la puce qui effectue l'arithmétique passe la plupart de son temps à attendre. En attendant quoi ? Nous suivons une question « Pourquoi le ciel est-il bleu ? » à travers la puce. Le texte devient des jetons puis des nombres entiers ; chaque nombre devient une liste de milliers de nombres ; et chaque couche du modèle est principalement une multiplication matricielle, découpée en tuiles et partagée entre les cœurs tenseurs de la puce. La question est lue en une seule fois. La réponse ne peut être écrite qu'un jeton à la fois, et chaque nouveau jeton nécessite que presque tous les poids du modèle soient à nouveau lus dans la mémoire : pour un modèle avec huit milliards de poids de 16 bits, environ 15 Go par jeton. Aux 3,35 téraoctets par seconde du H100 de NVIDIA, cela prend environ 4,5 millièmes de seconde, alors que l'arithmétique elle-même prendrait environ 15 millionièmes. Ajoutez le cache KV, les clés et les valeurs conservées pour chaque jeton précédent, et vous comprendrez pourquoi les puces IA sont construites autour de la mémoire, et pourquoi les centres de données regroupent de nombreuses conversations en une seule lecture, stockent les poids en moins de bits et divisent les grands modèles sur plusieurs puces. Les identifiants des jetons et les probabilités du prochain jeton affichés sont réels : ils proviennent d'un petit modèle à poids ouvert posé la même question pour ce film. Les chiffres du H100 correspondent aux spécifications maximales publiées par NVIDIA. La puce à l'écran est un accélérateur générique et stylisé dessiné pour ce film, et non une véritable disposition de puce ; les timings sont un décompte idéalisé (taux de pointe, pas de frais généraux), donc les systèmes réels sont plus lents ; et le modèle pesant 8 milliards a la forme publiée du Lama 3 8B de Meta. Chapitres 0:00 Une question, sous forme de nombres 1:15 Listes de nombres 2:15 Arithmétique en tuiles 3:34 Le mur de mémoire 5:06 Un jeton, une couche, un choix 6:31 Plus de personnes, moins de bits, plus de puces 8:01 La réponse, une pièce à la fois Sources - Blog technique NVIDIA, "NVIDIA Hopper Architecture In-Depth" (2022) : https://developer.nvidia.com/blog/nvidia-hopper-architecture-in-owned/ - NVIDIA, spécifications du GPU H100 Tensor Core : https://www.nvidia.com/en-us/data-center/h100/ - Blog technique NVIDIA, « NVIDIA Ampere Architecture In-Depth » (2020) : https://developer.nvidia.com/blog/nvidia-ampere-architecture-in-owned/ - Blog technique NVIDIA, « Inférence accélérée pour les grands modèles de transformateurs utilisant le serveur d'inférence NVIDIA Triton et FasterTransformer » : https://developer.nvidia.com/blog/accelerated-inference-for-large-transformer-models-using-nvidia-fastertransformer-and-nvidia-triton-inference-server/ - Blog technique NVIDIA, « Maîtriser les techniques LLM : optimisation de l'inférence » : https://developer.nvidia.com/blog/mastering-llm-techniques-inference-optimization/ - NVIDIA Deep Learning Performance Guide, "Matrix Multiplication Background" : https://docs.nvidia.com/deeplearning/performance/dl-performance-matrix-multiplication/index.html - A. Vaswani et al., "L'attention est tout ce dont vous avez besoin", NeurIPS 2017 : https://arxiv.org/abs/1706.03762 - R. Sennrich, B. Haddow, A. Birch, "Traduction automatique neuronale de mots rares avec des unités de sous-mots", ACL 2016 : https://arxiv.org/abs/1508.07909 - J. Kaplan et al., "Mise à l'échelle des lois pour les modèles de langage neuronal" (2020) : https://arxiv.org/abs/2001.08361 - R. Pope et al., "Efficiently Scaling Transformer Inference", MLSys 2023 : https://arxiv.org/abs/2211.05102 - W. Kwon et al., "Gestion efficace de la mémoire pour le service de modèles de langage étendus avec PagedAttention", SOSP 2023 : https://arxiv.org/abs/2309.06180 - J. Ainslie et al., "GQA : Formation de modèles de transformateurs multi-requêtes généralisés à partir de points de contrôle multi-têtes", EMNLP 2023 : https://arxiv.org/abs/2305.13245 - Llama Team, AI @ Meta, "The Llama 3 Herd of Models" (2024) : https://arxiv.org/abs/2407.21783 - T. Dettmers et al., "LLM.int8() : Multiplication matricielle 8 bits pour les transformateurs à l'échelle", NeurIPS 2022 : https://arxiv.org/abs/2208.07339 - E. Frantar et al., "GPTQ : Quantification précise post-entraînement pour les transformateurs pré-entraînés génératifs", ICLR 2023 : https://arxiv.org/abs/2210.17323 - J. Lin et al., "AWQ : Activation-aware Weight Quantization for LLM Compression and Acceleration", MLSys 2024 : https://arxiv.org/abs/2306.00978 - SK hynix Newsroom, "SK hynix développe le premier 12 couches de l'industrie HBM3" : https://news.skhynix.com/sk-hynix-develops-industrys-first-12-layer-hbm3/ Musique et effets sonores : originaux, réalisés pour ce film. Polices : Source Sans 3 (Adobe) et Figtree (Erik Kennedy), SIL Open Font License 1.1. #IA #Technologie #Science #Ingénierie #Informatique
Source vidéo:Youtube

Clause de non-responsabilité:info@kdj.com

Les informations fournies ne constituent pas des conseils commerciaux. kdj.com n’assume aucune responsabilité pour les investissements effectués sur la base des informations fournies dans cet article. Les crypto-monnaies sont très volatiles et il est fortement recommandé d’investir avec prudence après une recherche approfondie!

Si vous pensez que le contenu utilisé sur ce site Web porte atteinte à vos droits d’auteur, veuillez nous contacter immédiatement (info@kdj.com) et nous le supprimerons dans les plus brefs délais.

Autres vidéos publiées sur Nov 17, 2026