输入问题和人工智能回答问题之间到底发生了什么?该视频打开了 Transformer,即 GPT、Claude、Gemini 和大多数现代语言模型背后的架构,并遵循一个简单的句子“猫喝牛奶。”贯穿每一步。您将了解文本如何成为标记和标记 ID、嵌入和位置编码如何将它们转换为向量、自注意力如何使用查询、键和值、为什么存在多头注意力、前馈网络、残差连接和层标准化的作用、因果屏蔽如何让模型预测下一个标记、训练和推理如何工作,以及为什么 KV 缓存对于在 GPU 上运行大型语言模型很重要。没有黑匣子,也没有不必要的行话:一句话、一系列图表和幕后的数学。显示的令牌 ID、向量和百分比仅供说明。时间戳 0:00 简介:当你向 AI 提问时会发生什么 1:01 变形金刚之前:RNN 和 2017 年论文 2:14 标记化:将文本转化为标记 ID 3:27 嵌入:将单词作为向量 4:43 位置编码和 RoPE 5:54 自注意力:查询、键和值 8:52 缩放点积注意力,一步一步9:35 多头注意力 11:11 前馈网络 12:16 残差连接和层归一化 13:20 完整的 Transformer 模块 14:08 编码器、解码器以及 BERT、GPT 和 T5 15:22 因果屏蔽 16:27 Transformer 是如何训练的 17:46 推理:如何生成文本 18:53 KV 缓存20:15 完整的旅程 21:07 为什么变形金刚改变了人工智能
免责声明:info@kdj.com
所提供的信息并非交易建议。根据本文提供的信息进行的任何投资,kdj.com不承担任何责任。加密货币具有高波动性,强烈建议您深入研究后,谨慎投资!
如您认为本网站上使用的内容侵犯了您的版权,请立即联系我们(info@kdj.com),我们将及时删除。