第 2 单元开始:足够的数学知识。在 LLM 大师班的第 11 讲中:为什么 LLM 中的所有内容都是数字、作为数字和箭头列表的向量、点积(chai·tea = 1.47、chai·car = 0.345)、矩阵及其形状、为什么矩阵乘法实际上是许多点积,以及所有这些在 NumPy 中使用 @ 运算符。 💻 本次讲座的代码(分支 Lecture-11):https://github.com/programmingline/chotugpt/tree/lecture-11 第 11 讲(共 32 讲) — LLM 大师班 · 模块 2:足够的数学 ⚠️ ChotuGPT 是一个简化的教学模型。词向量(chai、tea、car)和小“热饮?” / 车辆?'矩阵是仅供教学用的玩具数字。在本讲座中: • 一切都变成了数字:标记 ID(第 2 讲)和词向量(第 5 讲) • 向量是数字列表;它是数字的集合。它的长度是它的维数。 • 点积:将匹配的数字相乘,然后相加 — 当两个向量指向相同方向时,结果就大。 • 为什么余弦相似度除以长度。 • 矩阵:具有形状的数字网格(行×列);学习到的权重存在于矩阵中。 • 矩阵×向量:每个输出都是一个点积;矩阵 × 矩阵:行乘列,内部大小必须匹配 • NumPy:@ 表示矩阵乘法,单词@单词。T 立即给出每对的点积 • 为什么 GPU 很重要,以及注意力分数如何是点积(第 18 讲) 章节: 00:00 第 10 讲测验答案 00:12 模块 2:足够的数学 00:24 一切都变成数字 00:40 向量 01:05 开始单击? 01:10 点积 01:43 矩阵和形状 02:02 矩阵乘法 = 许多点积 02:42 NumPy:@ 运算符 03:07 测验 03:27 为什么这很重要:变压器和 GPU 03:47 回顾和下一个讲座 ✅ 第 10 课测验答案:B,根据人类反馈进行培训以遵循指令。最大的变化不是尺寸。 ❓ 测验:矩阵乘法确实有很多... A) 加法 B) 点积 C) 除法。评论你的答案。我在第12讲中揭晓! 👍 点赞、订阅并评论您的测验答案。 ⏮ 上一篇:第 10 讲 — 从 GPT-3 到 ChatGPT:现代时代 ⏭ 下一篇:第 12 讲 — 从头开始的神经网络 资料来源:NumPy 文档:numpy.matmul 和 @ 运算符 (numpy.org/doc); G. Strang,《线性代数导论》(韦尔斯利剑桥出版社);本课程第 5 讲中的玩具词向量。 #LLM #线性代数 #NumPy
免责声明:info@kdj.com
所提供的信息并非交易建议。根据本文提供的信息进行的任何投资,kdj.com不承担任何责任。加密货币具有高波动性,强烈建议您深入研究后,谨慎投资!
如您认为本网站上使用的内容侵犯了您的版权,请立即联系我们(info@kdj.com),我们将及时删除。