bitcoin
bitcoin

$64611.964678 USD

-0.05%

ethereum
ethereum

$1828.660957 USD

0.75%

tether
tether

$0.999150 USD

0.03%

bnb
bnb

$592.645433 USD

0.04%

usd-coin
usd-coin

$0.999883 USD

0.02%

xrp
xrp

$0.960349 USD

0.45%

solana
solana

$72.903899 USD

2.44%

tron
tron

$0.306197 USD

1.13%

hyperliquid
hyperliquid

$69.757500 USD

5.12%

zcash
zcash

$924.977899 USD

3.88%

monero
monero

$498.099398 USD

2.74%

dogecoin
dogecoin

$0.059001 USD

0.38%

unus-sed-leo
unus-sed-leo

$9.309707 USD

1.69%

chainlink
chainlink

$9.183937 USD

0.60%

cardano
cardano

$0.153484 USD

0.40%

暗号通貨ニュースビデオ

1 つの質問をすると AI チップの中で何が起こるか

2026/11/17 12:09 Ohmhytte

最新の AI チップは 1 秒間に約 1,000 兆回の計算を実行できます。 1 つの質問をしても、答えは一度に単語の断片ずつ届きますが、演算を行うチップの部分はほとんどの時間を待機に費やします。何を待っているのですか? 「空はなぜ青いの?」という 1 つの質問をチップを通して追跡します。テキストはトークンになり、その後整数になります。それぞれの数字は何千もの数字のリストになります。モデルの各層はほとんどが行列乗算であり、タイルに分割され、チップのテンソル コア全体で共有されます。質問は一気に読み上げられます。答えは一度に 1 つのトークンしか書き込めず、新しいトークンごとに、ほぼすべてのモデルの重みをメモリから再度読み取る必要があります。80 億の 16 ビット重みを持つモデルの場合、トークンあたり約 15 GB になります。 NVIDIA の H100 の 1 秒あたり 3.35 テラバイトでは、計算自体には約 1,500 万分の 1 秒かかりますが、それには約 4.5 千分の 1 秒かかります。 KV キャッシュ (以前のトークンごとに保持されるキーと値) を追加すると、AI チップがメモリを中心に構築されている理由、およびデータ センターが多くの会話を 1 回の読み取りにまとめて、より少ないビットで重みを保存し、大きなモデルを複数のチップに分割している理由がわかります。表示されているトークン ID と次のトークンの確率は本物です。これらは、この映画で同じ質問をした小さな無重力モデルから得られています。 H100 の数値は、NVIDIA が公開しているピーク時の仕様です。画面上のチップは、この映画のために描かれた一般的な様式化されたアクセラレータであり、実際のチップのレイアウトではありません。タイミングは理想的なカウント (ピーク レート、オーバーヘッドなし) であるため、実際のシステムはさらに遅くなります。そして、重量 80 億のモデルは、Meta の Llama 3 8B の公開された形状を持っています。章 0:00 数字としての 1 つの質問 1:15 数字のリスト 2:15 タイルでの算術 3:34 メモリの壁 5:06 1 つのトークン、1 つのレイヤー、1 つの選択肢 6:31 より多くの人、より少ないビット、より多くのチップ 8:01 答えは一度に 1 つずつ 出典 - NVIDIA テクニカル ブログ、「NVIDIA Hopper Architecture In-Depth」(2022): https://developer.nvidia.com/blog/nvidia-hopper-architecture-in- Depth/ - NVIDIA、H100 Tensor コア GPU 仕様: https://www.nvidia.com/en-us/data-center/h100/ - NVIDIA テクニカル ブログ、「NVIDIA Ampere Architecture In-Depth」 (2020): https://developer.nvidia.com/blog/nvidia-ampere-architecture-in- Depth/ - NVIDIA テクニカル ブログ、「NVIDIA Triton Inference Server と FasterTransformer を使用した大規模トランス モデルの推論の高速化」: https://developer.nvidia.com/blog/accelerated-inference-for-large-transformer-models-using-nvidia-fastertransformer-and-nvidia-triton-inference-server/ - NVIDIA テクニカル ブログ、「LLM テクニックの習得: 推論の最適化」: https://developer.nvidia.com/blog/mastering-llm-techniques-inference-optimization/ - NVIDIA Deep学習パフォーマンス ガイド、「行列乗算の背景」: https://docs.nvidia.com/deeplearning/performance/dl-performance-matrix-multiplication/index.html - A. Vaswani et al.、「Attending Is All You Need」、NeurIPS 2017: https://arxiv.org/abs/1706.03762 - R. Sennrich、B. Haddow、A. Birch、 「サブワード単位を使用したレアワードのニューラル機械翻訳」、ACL 2016: https://arxiv.org/abs/1508.07909 - J. Kaplan et al.、「Neural Language Models のスケーリング則」(2020): https://arxiv.org/abs/2001.08361 - R. Pope et al.、「Efficiently Scaling」 Transformer Inference」、MLSys 2023: https://arxiv.org/abs/2211.05102 - W. Kwon et al.、「Padtention を使用した大規模言語モデルの効率的なメモリ管理」、SOSP 2023: https://arxiv.org/abs/2309.06180 - J. Ainslie et al.、「GQA: Training Generalized」 「マルチヘッド チェックポイントからのマルチクエリ トランスフォーマー モデル」、EMNLP 2023: https://arxiv.org/abs/2305.13245 - ラマ チーム、AI @ Meta、「ラマ 3 モデルの群れ」(2024): https://arxiv.org/abs/2407.21783 - T. Dettmers et al.、 「LLM.int8(): 8-bit Matrix Multiplication for Transformers at Scale」、NeurIPS 2022: https://arxiv.org/abs/2208.07339 - E. Frantar et al.、「GPTQ: Accurate Post-Training Quantization for Generative Pre-trained Transformers」、ICLR 2023: https://arxiv.org/abs/2210.17323 - J. Lin et al.、「AWQ: LLM 圧縮および加速のためのアクティベーションを意識した重み量子化」、MLSys 2024: https://arxiv.org/abs/2306.00978 - SK hynix ニュースルーム、「SK hynix が業界初の 12 層を開発」 HBM3」: https://news.skhynix.com/sk-hynix-develops-industrys-first-12-layer-hbm3/ 音楽と効果音: この映画のために作られたオリジナル。フォント: Source Sans 3 (Adobe) および Figtree (Erik Kennedy)、SIL オープン フォント ライセンス 1.1。 #AI #テクノロジー #科学 #エンジニアリング #コンピューティング
ビデオソース:Youtube

免責事項:info@kdj.com

提供される情報は取引に関するアドバイスではありません。 kdj.com は、この記事で提供される情報に基づいて行われた投資に対して一切の責任を負いません。暗号通貨は変動性が高いため、十分な調査を行った上で慎重に投資することを強くお勧めします。

このウェブサイトで使用されているコンテンツが著作権を侵害していると思われる場合は、直ちに当社 (info@kdj.com) までご連絡ください。速やかに削除させていただきます。

2026年11月17日 他の動画も公開されています