现代人工智能芯片每秒可以进行大约一千万亿次计算。问它一个问题,答案仍然一次到达一个单词的片段,而芯片中进行算术运算的部分大部分时间都在等待。还等什么?我们通过芯片来回答一个问题:“为什么天空是蓝色的?”。文本变成标记,然后变成整数;每个数字都变成了数千个数字的列表;模型的每一层主要是矩阵乘法,切成块并在芯片的张量核心之间共享。问题是一次性读完的。答案只能一次写入一个 token,并且每个新 token 都需要再次从内存中读取模型的几乎所有权重:对于具有 80 亿个 16 位权重的模型,每个 token 大约需要 15 GB。以 NVIDIA H100 每秒 3.35 TB 的速度计算,大约需要千分之 4.5 秒,而算术本身大约需要百万分之 15。添加 KV 缓存(为每个早期令牌保留的键和值),您就会明白为什么 AI 芯片是围绕内存构建的,以及为什么数据中心将许多对话批量化为一次读取、以更少的位存储权重以及将大模型拆分到多个芯片上。显示的令牌 ID 和下一个令牌概率是真实的:它们来自一个小型开放权重模型,该模型对这部电影提出了相同的问题。 H100 数据是 NVIDIA 公布的峰值规格。屏幕上的芯片是为这部电影绘制的通用的、程式化的加速器,而不是任何真实的芯片布局;计时是理想化的计数(峰值速率,无开销),因此实际系统速度较慢;重量为80亿的模型具有Meta的Llama 3 8B的公开形状。章节 0:00 一个问题,如数字 1:15 数字列表 2:15 块中的算术 3:34 内存墙 5:06 一个令牌,一层,一个选择 6:31 更多的人,更少的比特,更多的芯片 8:01 答案,一次一点 资料来源 - NVIDIA 技术博客,“NVIDIA Hopper 架构深度剖析”(2022 年): https://developer.nvidia.com/blog/nvidia-hopper-architecture-in-deep/ - NVIDIA、H100 Tensor Core GPU 规格:https://www.nvidia.com/en-us/data-center/h100/ - NVIDIA 技术博客,“NVIDIA Ampere 架构深入”(2020 年):https://developer.nvidia.com/blog/nvidia-ampere-architecture-in-deep/ - NVIDIA 技术博客,“使用 NVIDIA Triton 推理服务器和 FasterTransformer 加速大型变压器模型的推理”:https://developer.nvidia.com/blog/accelerated-inference-for-large-transformer-models-using-nvidia-fastertransformer-and-nvidia-triton-inference-server/ - NVIDIA 技术博客,“掌握 LLM 技术:推理优化”: https://developer.nvidia.com/blog/mastering-llm-techniques-inference-optimization/ - NVIDIA 深度学习性能指南,“矩阵乘法背景”:https://docs.nvidia.com/deeplearning/performance/dl-performance-matrix-multiplication/index.html - A. Vaswani 等人,“注意力就是您所需要的”,NeurIPS 2017: https://arxiv.org/abs/1706.03762 - R. Sennrich、B. Haddow、A. Birch,“带有子词单元的稀有词的神经机器翻译”,ACL 2016:https://arxiv.org/abs/1508.07909 - J. Kaplan 等人,“神经语言模型的缩放法则”(2020): https://arxiv.org/abs/2001.08361 - R. Pope 等人,“高效扩展 Transformer 推理”,MLSys 2023:https://arxiv.org/abs/2211.05102 - W. Kwon 等人,“通过 PagedAttention 实现大型语言模型服务的高效内存管理”,SOSP 2023: https://arxiv.org/abs/2309.06180 - J. Ainslie 等人,“GQA:从多头检查点训练通用多查询变压器模型”,EMNLP 2023:https://arxiv.org/abs/2305.13245 - Llama 团队,AI @ Meta,“The Llama 3 Herd of Models”(2024 年): https://arxiv.org/abs/2407.21783 - T. Dettmers 等人,“LLM.int8():大规模 Transformers 的 8 位矩阵乘法”,NeurIPS 2022:https://arxiv.org/abs/2208.07339 - E. Frantar 等人,“GPTQ:生成式的准确训练后量化预训练 Transformers”,ICLR 2023:https://arxiv.org/abs/2210.17323 - J. Lin 等人,“AWQ:LLM 压缩和加速的激活感知权重量化”,MLSys 2024:https://arxiv.org/abs/2306.00978 - SK hynix Newsroom,“SK hynix开发业界首款 12 层 HBM3”:https://news.skhynix.com/sk-hynix-develops-industrys-first-12-layer-hbm3/ 音乐和音效:原创,为本部电影制作。字体:Source Sans 3 (Adobe) 和 Figtree (Erik Kennedy),SIL 开放字体许可证 1.1。 #AI #技术 #科学 #工程 #计算
免责声明:info@kdj.com
所提供的信息并非交易建议。根据本文提供的信息进行的任何投资,kdj.com不承担任何责任。加密货币具有高波动性,强烈建议您深入研究后,谨慎投资!
如您认为本网站上使用的内容侵犯了您的版权,请立即联系我们(info@kdj.com),我们将及时删除。