現代人工智慧晶片每秒可以進行大約一千萬億次計算。問它一個問題,答案仍然一次到達一個單字的片段,而晶片中進行算術運算的部分大部分時間都在等待。还等什么?我們透過晶片來回答一個問題:「為什麼天空是藍色的?」。文字變成標記,然後變成整數;每個數字都變成了數千個數字的列表;模型的每一層主要是矩陣乘法,切成區塊並在晶片的張量核心之間共享。問題是一次讀完的。答案只能一次寫入一個 token,而每個新 token 都需要再次從記憶體中讀取模型的幾乎所有權重:對於具有 80 億個 16 位元權重的模型,每個 token 大約需要 15 GB。以 NVIDIA H100 每秒 3.35 TB 的速度計算,大約需要千分之 4.5 秒,而算術本身大約需要百萬分之 15。添加 KV 快取(為每個早期令牌保留的鍵和值),您就會明白為什麼 AI 晶片是圍繞內存構建的,以及為什麼數據中心將許多對話批量化為一次讀取、以更少的位元存儲權重以及將大模型拆分到多個芯片上。顯示的令牌 ID 和下一個令牌機率是真實的:它們來自一個小型開放權重模型,該模型對這部電影提出了相同的問題。 H100 數據是 NVIDIA 公佈的峰值規格。螢幕上的晶片是為這部電影繪製的通用的、程式化的加速器,而不是任何真實的晶片佈局;計時是理想化的計數(峰值速率,無開銷),因此實際系統速度較慢;重量為80億的模型具有Meta的Llama 3 8B的公開形狀。章節 0:00 一個問題,如數字 1:15 數字列表 2:15 塊中的算術 3:34 內存牆 5:06 一個令牌,一層,一個選擇 6:31 更多的人,更少的比特,更多的芯片 8:01 答案,一次一點 資料來源 - NVIDIA 部落格,“NVIDIA 架構:深度剖析” https://developer.nvidia.com/blog/nvidia-hopper-architecture-in-deep/ - NVIDIA、H100 Tensor Core GPU 規格:https://www.nvidia.com/en-us/data-center/h100/ - NVIDIA 技術博客,「NVIDIA Ampere 架構深入架構」(年):https://developer.nvidia.com/blog/nvidia-ampere-architecture-in-deep/ - NVIDIA 技術博客,「使用 NVIDIA Triton 推理伺服器和 FasterTransformer加速大型變壓器模型的推理」:https://developer.nvidia.com/blog/accelerated-inference-for-large-transformer-models-using-nvidia-fastertransformer-and-nvidia-triton-inference-server/ - NVIDIA 技術博客,「掌握 LLM 技術:推理最佳化」 https://developer.nvidia.com/blog/mastering-llm-techniques-inference-optimization/ - NVIDIA 深度學習效能指南,「矩陣乘法背景」:https://docs.nvidia.com/deeplearning/performance/dl-performance-matrix-multiplication/index.html -learning/performance/dl-performance-matrix-multiplication/index.html -learning/performance/dl-performance-matrix-multiplication/index.html -P. https://arxiv.org/abs/1706.03762 - R. Sennrich、B. Haddow、A. Birch,“帶有子詞單元的稀有詞的神經機器翻譯”,ACL 2016:https://arxiv.org/abs/1508.07909 - J. Kaplan 等人,“神經語言模型的縮放法則https://arxiv.org/abs/2001.08361 - R. Pope 等人,“高效擴展 Transformer 推理”,MLSys 2023:https://arxiv.org/abs/2211.05102 - W. Kwon 等人,“通過 PagedAttention 實現大型語言模型服務的高效能管理模型服務https://arxiv.org/abs/2309.06180 - J. Ainslie 等人,“GQA:從多頭檢查點訓練通用多查詢變壓器模型”,EMNLP 2023:https://arxiv.org/abs/2305.13245 - Llama 團隊,AI24 https://arxiv.org/abs/2407.21783 - T. Dettmers 等人,“LLM.int8():大規模 Transformers 的 8 位元矩陣乘法”,NeurIPS 2022:https://arxiv.org/abs/2208.07339 - E. FrantarSers,「準確訓練後產生,ICGLR Transformers,準確訓練後式,」準確訓練後的準確訓練可量化,ICGLR Transformers,準確訓練後的準確訓練可量化,ICGLR Transformers,準確訓練後產生「準確訓練後式2023:https://arxiv.org/abs/2210.17323 - J. Lin 等人,“AWQ:LLM 壓縮和加速的激活感知權重量化”,MLSys 2024:https://arxiv.org/abs/2306.00978 - SK hSKynroom,“業界首款 12306.00978 - SK hSKyniroom,”業界首款 12 層首款HBM3」:https://news.skhynix.com/sk-hynix-develops-industrys-first-12-layer-hbm3/ 音樂與音效:原創,為本部電影製作。字體:Source Sans 3 (Adobe) 和 Figtree (Erik Kennedy),SIL 開放字體授權 1.1。 #AI #技術 #科學 #工程 #計算
免責聲明:info@kdj.com
所提供的資訊並非交易建議。 kDJ.com對任何基於本文提供的資訊進行的投資不承擔任何責任。加密貨幣波動性較大,建議您充分研究後謹慎投資!
如果您認為本網站使用的內容侵犯了您的版權,請立即聯絡我們(info@kdj.com),我們將及時刪除。